Я это видела!

Прошлый пост: От продавца до Big Data Scientis #15

С прошлого поста прошло около 9 месяцев. Это время было потрачено не в пустую. Вообще первые 3 месяца я ничего особо не делал, но примерно в августе мне на глаза попалась рекламка о курсе Deep Learning от МФТИ. Почитал рекламный проспект и удивился: предлагали полноценный серьёзный курс и забесплатно. Мало того что это фактически взлётная полоса для моей мечты, так ещё и бесплатная! Это ли не чудо? Решив, что ничего кроме времени всё равно не потеряю, я записался на курс. Начало было назначено на сентябрь. Настрой был весьма скептический – я трезво оценивал свои силы и знания. Итак, я прошёл регистрацию, выбрал поток. Было два варианта: базовый и продвинутый. Для помощи выбора потока в анкете предлагались вопросы типа: "умеете ли вы перемножать матрицы? Слышали ли о градиентах?" Ну и прочее. Ответив везде утвердительное "нет", я пошёл на базовый поток. Весь курс проходил на базе степика, общение с администрацией и студентами велось в телеге.

Первая серьёзная тема была про знакомство с Python. Ну, решил я, это пустяки! И правда, благодаря тому, что я был знаком с его основами, эта часть далась мне легко. Но стоит сказать, что без бэкграунда, я бы дальше просто не прошёл – лекции были весьма сжатыми и поверхностными. Скорее они рассчитывались на не нулевые знания, а на тех, кто просто подзабыл о чём тут вообще. Лекции и семинары завершались выдачей домашних заданий. Обычно их давали раз в две недели. На сдачу дз ставили дедлайн. Так что сильно похалявить было нельзя – нужно было правильно рассчитывать свои силы.

После началась линейная алгебра + numpy. Все лекции я конспектировал – так мне проще запоминать. Но беда оказалась в том, что на тот момент я даже не мог сказать, что такое математическая функция. Не только определения, но даже представление давно было затёрто в моей памяти. А тут мне рассказывают о линейных преобразованиях. Мозг воспротивился! Я слушал лекцию и не понимал ни-че-го. Спасибо людям в комментах, посоветовали послушать этот же материал на канале 3Blue1Brown. И вот тут я всё понял! Это было прекрасно!

Следом разбирали производную и оптимизацию методом градиентного спуска + pandas. Опять полное непонимание, отчаяние и боль! Снова многократное прослушивание лекций, поиск на сторонних ресурсах. Особенно много я подчерпнул из канала du/dvstud. Спасибо автору канала, за топовые лекции. Вообще я был удивлён, как много на ютубчике годного учебного материала. Одну и ту же тему люди разжёвывали максимально по разному. Были варианты для детей, были для студентов, были как будто для гопников! =D Через боль и страдания я осилил и эту тему. Вообще я был готов 10 раз бросить курс и каждый раз успокаивал себя, что мол, ты и так красавчик, разобрался с такими сложными штуками :)

Разобравшись с поиском минимума функции мы перешли к изучению MachineLearning. А это уже самый настоящий DataScience! Функции Loss, регрессии и ещё всякие другие новые слова. На этом этапе я подружился с одним студентом с моего потока – Саней, парнем, увлечённым математикой. Он помог мне разобраться лучше в предыдущих темах и справиться с текущей. Работали в sklearn. Практика давалась просто, но вот вникнуть в теоретическую составляющую было сложно. Спасибо Саше, он помог вкурить в транспонированные и обратные матрицы и прочее =) Линейные модели, решающие деревья, композиции – вот это вот всё нужно было постичь. Понятно, что не в полном объёме, но знакомство было проведено успешно. Как раз к концу этого блока я познакомился ещё с одним студентом - Lesika. Девушка толковая, знающая, казалось бы, вообще всё обо всём! Всё с чем не могли сами справиться я и Саня, легко решала или добывала Lesika.

Хотелось отдельно сказать про общение. Это очень сильно вдохновляет и придаёт сил, когда есть с кем просто обсудить проблему. Даже если решение не будет предложено собеседником, всё равно, это очень спасало. Не сравнить с тем, когда я сам проходил курсы по Python.

Далее следовал блок, ради которого мы тут все собрались — собственно DeepLearning. Полносвязные, свёрточные нейросети! Вроде всё понятно, но я вечера три убил на то, что бы понять, что же такое принцип обратного распространения ошибки (back propagation). Забавно, что при написании кода этот самый сложный для понимая участок пишется просто одной строчкой: loss.backward(). Но я честно разобрался для себя, что же там происходит за магия :) Вообще, каждая тема имела кучу подводных камней и, что бы решить дз, приходилось гуглить и искать на сторонних ресурсах. С одной стороны это кажется сложным и неправильным – почему бы не дать всё на лекциях. Но с другой это учит искать, и как мне кажется, это наиважнейший навык. Дз были на классификацию изображений и семантическую сегментацию. Вот последняя попила не мало моей крови! Зато как я был горд собой, когда написал сам сетки только по картинкам архитектуры: UNet и SegNet. И они работали да ещё и отлично работали! Некоторые домашки решались на платформе kaggle, это добавляло азарт в решение задач. Не скажу ,что мои результаты были выдающимися, но так, средние.

Завершающим этапом стало написание итоговой работы. На данный момент она ещё не проверена, но я решил не дожидаясь результатов поделиться этим постом. Мой выпускной проект – телеграм бот способный менять стиль изображения на выбранный. Выполнил, если честно, самый минимум. Но бот работает, хоть весьма и медленно :) БОльшую сложность вызвал деплой бота на сервер – ранее мне не приходилось заниматься подобным.

Подытожу. Саня и Лесика не дошли до финиша. Саня отвалился где-то на классификации изображений, а Лесика не успела до дедлайна развернуть бота. В итоге из нашей триады я единственный сдал проект. Вообще из более чем 2к поступивших, закончили курс всего 147 человек. Я познакомился с DataScience по-взрослому (ну мне так кажется). Я за пол года вырос с абсолютного нуля до чего-то =) Теперь статьи на хабре читаются довольно просто и смысл даже понятен =)

Дальше пойду на второй поток. Ну и попробую поискать стажировки, или если повезёт хоть какую-нибудь работу в этой отрасли. Я понимаю огромную конкуренцию, но всё таки, вдруг мне повезёт?

Буду рад советам, критике и пожеланиям! Спасибо всем, кто дочитал! Извините за ошибки :)

P.S. никому не нужен начинающий datascience-стажёр? Я упорный и быстро учусь. Хочу поскорее попробовать себя в реальной работе! =)