2153

Мой путь в data science

3 месяца назад в одном из комментариев я упомянул, что нахожусь в процессе трудоустройства в дата-саентисты из совершенно другой области деятельности. Около 20 человек попросили рассказать об этом подробнее, когда закончится мой испытательный срок. Вот он заканчивается, но мне уже сказали, что я прошел, так что вот рассказ.


## Немного предыстории.

Я работал с 2013 года на одном месте, а с 2015 года я стал занимать низкую руководящую должность и это было плохо. Напрягали и снизу и сверху, из-за чего процесс выгорания занял гораздо меньше времени, чем можно предположить. Фирма занималась разработкой систем автоматизации химических предприятий, а начальствовал я в сборочном цехе, а значит занимался не только руководством, но и складом, и сборкой, и погрузками-разгрузками, и в командировки ездил, и снег зимой чистил. Интеллектуального развития минимум, зато смог отладить процесс так, что стало появляться много свободного времени, которое я тратил на просмотр пикабу и прочего. И вот, в октябре 2019 я решил, что хватит растрачивать свой потанцевал и надо заняться чем-то интересным. Я вспомнил о том, что в 2015 году я проходил профориентационный тест на hh и он мне показал склонность к аналитике. Тогда я на это дело забил, какая еще аналитика с отверткой в руках, а теперь, в 27 лет, вспомнил и решил посмотреть, что есть в этой области и увидел дата сайенс.

## Процесс обучения

Стоит отметить, что с айти я косвенно сталкивался и исключительно в личных интересах. Как-то ковырял ардуино недолго, еще однажды решил изучать программирование и прошел курс по с++, там была самая база, но курс очень хороший (я даже пытался изучать более углубленно, но тогда застрял на указателях и не осилил). Еще упомяну, что по специальности, которую я получил аж в 2013, я сервисник транспортных и технологических машин и оборудования. В институте на программировании мы разве что оттачивали навык подсчета открывающих и закрывающих скобочек.


Так вот вернусь к октябрю прошлого года, когда 7 числа я открыл курс на степике по введению в машинное обучение (чуть ниже я прикреплю ссылки на некоторые полезные курсы и ресурсы), прочитал описание, увидел, что необходимо предварительно изучить, закрыл курс и начал по списку: python, алгоритмы, статистика, анализ данных и т.д. Только к новому году я дошел до курса по введению в МО и прошел он, после этой базы, как по маслу, а там пошли уже и нейросети.


Многие не верили, что за 3-4 месяца можно освоить профессию. Так вот мой вам ответ - и правда нельзя. Но я прикладывал очень много усилий. Как уже упоминал, у меня было некоторое количество свободного времени на работе, которое я полностью тратил на обучение. 3 месяца я совершенно не просматривал развлекательный контент: ни кино, ни сериалы, ни пикабу - я приходил с работы, и часов до 10 учился. Даже с женой чуть конфликтовали из-за этого. Весь декабрь я провел в командировке, там мы не напрягались, но на режимном заводе особо не поучишься, поэтому мой распорядок дня в декабре выглядел так: в 6:30 просыпался и учился, пока все спали, после работы быстро ел, купался и до вечера снова упарывался. Очень уж увлекло. Вот, например, моя новогодняя фотка:

По поводу ресурсов: в качестве старта мог бы порекомендовать пройти вводный бесплатный модуль яндекс практикума. Там все просто и понятно рассказывается, но, на мой скромный взгляд, довольно не структурировано и скучно. Поэтому однозначно я рекомендую курсы на степике, которые и бесплатны, и дадут необходимую базу для осмысленного гугления. В таком порядке я их проходил:

1. https://stepik.org/course/67

2. https://stepik.org/course/512

3. https://stepik.org/course/217

4. https://stepik.org/course/1547

5. https://stepik.org/course/76

6. https://stepik.org/course/129

7. https://stepik.org/course/724

8. https://stepik.org/course/524

9. https://stepik.org/course/2152

10. https://stepik.org/course/4852

11. https://stepik.org/course/8057


Это база, по МО еще очень хороший курс на курсере, но там много математики:

https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/

А потом можно и нейросети посмотреть:

https://stepik.org/course/401

https://stepik.org/course/54098 - курс просто огонь, но он специализирован.

Важно так же учитывать, что умение работать в jupyter notebook оказалось не единственным важным умением для работы вообще: обязательно нужно понимать хотя бы как работают базы данных и уметь делать запросы и аггрегировать данные. На практике оказалось, что БД +- sql-образные, и научившись запросам в MySQL, нет проблем научится в Clickhouse, несмотря на разные архитектуры. Поэтому вот:

https://stepik.org/course/2614

Еще оказалось, что на новой работе все на линуксе. Мне, как виндоводу, оказалось полезно это:

https://stepik.org/course/73

Ну и какой смысл в моих ноутбуках, если я не умею делиться ими:

https://stepik.org/course/3145

Что еще можно сказать по обучению... Обязательно нужно закреплять полученные знания на практике: освоив какую-нибудь крупную тему, я заливал свой говнокод на гитхаб для портфолио (да, уже сейчас я вижу, что он говнокод). И несомненно нужно хоть немного знать английский.

## Собеседование и увольнение.

Так вот к февралю я уже кое-чему научился и решил наудачу сделать новое резюме. В резюме указал все честно, что я щегол, но все равно набрался наглости разослать резюме по 2-м фирмам с просьбой выслать мне тестовое задание, которые нашел в соседнем городе (30 км между городами). В своем городе ничего не было, та еще деревня. По второй вакансии мне сразу отказали, да и по первой тоже, сказав, что кандидат уже есть, да и джун я несчастный, но тестовое могут прислать, мало ли. Тестовое я сделал (необходимо было проанализировать временной ряд с явно выраженной сезонностью и сделать предсказания) и отправил с той же надеждой, типа мало ли. И вот 2 недели тишины. В один из дней на меня наезжала бухгалтерия по поводу беспорядка со спецодеждой, я в сердцах воскликнул, как меня достала эта работа, и тут же (через 2 часа, на самом деле) мне поступил звонок с приглашением на пообщаться. Формулировка та же: ничего не обещаем, но мало ли. Естественно, я поехал.


На собеседовании было неплохо и все по делу. Тестовое оказалось сделано необычно, с изюминкой, видимо это и понравилось. На технические вопросы я ответил (в основном мы общались по нейросетям, потому что я упомянул, что использовал их для своего проекта. Но т.к. всем известно, что для "import keras" много знаний не надо, меня спрашивали по их структуре: что такое функции активации, какие я знаю, почему они должны быть дифференцируемы и т.д.). По итогам собеседование мне сказали, что они еще подумают и через пару дней предложили должность. Естественно, я согласился) Тем более, что стартовую зарплату мне предложили такую же, как я получал на должности начальника на старой работе, но это говорит не об огромных зп в айти, а о мизерных зарплатах в моей "деревне", поверьте.


Увольнение проходило не так уж гладко, потому что много на мне завязано было, но отпустили с миром, за что большое спасибо.

## Новая работа

Новая работа - это жесть. Мне было очень тяжело первое время: непрерывное гугление и чтение документаций, теперь минимум 8 часов в день я непрерывно думал и голова болела каждый вечер. В конце недели я видеть компьютер не мог и ни о каком продолжении саморазвития по выходным я даже думать не хотел - вообще к компьютеру не подходил. Но самое сложное оказалось сидеть: болит не только спина, это лечится упражнениями, но даже жопа. Но ничего, за пару месяцев натер трудовой мозоль.


Не могу сказать, что я ворвался как по маслу в новую работу, было и недопонимание, и притирка к коллегам, да и просто знаний не хватает. Но отмечу, что провал в знаниях у меня больше в сторону программирования и прочих скиллов, связанных с расширением айтишного кругозора, а вот сами алгоритмы МО мне вроде неплохо даются. К тому же, контора занимается защитой трафика, поэтому мне приходится узнавать много об этом тоже: протоколы, атаки, api и т.д. В общем, обучение не прекращается никогда и за 3 месяца испытательного срока я уже научился никак не меньшему, чем за время самостоятельного обучения.


Новая работа нравится и о старой вспоминаю с легким содроганием.


Еще забавный момент. 16 марта я вышел на работу, а с 18 нас отправили по домам на удаленку. Вот до сих пор на ней сижу, в офисе был всего 4 раза за все время)


Вроде все. Вот пара пруфов для скептиков.

3
Автор поста оценил этот комментарий

так и зачем  функции активации должны быть дифференцируемы?

раскрыть ветку (1)
8
Автор поста оценил этот комментарий
Для градиентного спуска
показать ответы
84
DELETED
Автор поста оценил этот комментарий

ИТ это гребаные качели, и чем выше входной порог тем больше амплитуда. С утра ты чувствуешь себя Богом, к вечеру ты последний лузер, потом все не так уж и плохо и вроде все норм, и уже через пару часов в голове "пристрели те меня кто нибудь!". Если входишь в эту профессию без настроенных на это мозгов и что еще страшнее без крепкой и постоянной поддержки близкого окружения, то сломаешся очень быстро. И кстати, самое главное, давай мозгам отдых, информация должна усвоиться, не перегружайся на пользу не идет.

раскрыть ветку (1)
11
Автор поста оценил этот комментарий
Кстати да, качели. Согласен. Жена поддерживает)
показать ответы
1
Автор поста оценил этот комментарий

Мужик, а почему ты говоришь что в промышленной автоматизации деградация ума? Что вообще на твоей прошлой работе требовали от инжнеров асутп? Какие знания и навыки?

-------

А вообще похвально, как без большого бэкграунда в программировании, мәктәпне залез в дата сайнс. Это очень круто. Сейчас на работе вышмат используешь?

раскрыть ветку (1)
4
Автор поста оценил этот комментарий
Для меня была деградация, потому что именно я там занимался рутиной по сборке и обеспечению сборки, никакого проектирования или хотя бы отладки. Использую. Потому что тоже важный момент: все эти красивые модели, полученные питоновскими библиотеками, нельзя просто взять и засунуть в рабочий проект, написанный на го, например. Приходится разбираться с тем, как интерпретировать результат и как он вообще получается, чтобы его повторить, используя полученные коэффициенты и универсальные операции. Очень полезно
1
Автор поста оценил этот комментарий
Айтишники во все времена говорят на каком-то своем секретном языке...
раскрыть ветку (1)
7
Автор поста оценил этот комментарий
Ну вот по моему мнению реальный датасаентист придумывает как максимизировать ширину зазора разделяющей гиперплоскости между 2 наборами точек в многомерном пространстве, какие функции потерь использовать и т.д. А вот я конкретно применяю этот уже разработанный алгоритм для практического решения классификации трафика, например.
показать ответы
1
Автор поста оценил этот комментарий
Скажи чо-нить на нейросетском?

На самом деле классный пост, прям очень!! Пиши чащк
раскрыть ветку (1)
3
Автор поста оценил этот комментарий
Иллюстрация к комментарию
показать ответы
2
Автор поста оценил этот комментарий

Ищу сейчас такую же работу и учусь по курсам, пару недель назад закончил курс введения в машинное обучение на курсере, который ты скинул. Можешь поподробнее рассказать про собеседование? Какие вопросы задавали?
P.S. То чувство, когда посмеялся с мема с профессиональным юмором.

раскрыть ветку (1)
3
Автор поста оценил этот комментарий
Я в посте упомянул, что всплыла тема нейросетей, именно их устройства: из чего состоит нейрон, зачем нужны эти функции и т.д. Важно понимание, потому что в работе свою нейронку писать не стоит, а как они работают понимать нужно. Ещё в ходе тех пары дней, что был в офисе, меня как бы невзначай ещё проверяли на тему того, знаю ли я, чем пользуюсь. Типа когда применил логистическую регрессию, спросил старший, а знаю ли я что за интерсепт там в уравнении получается и что за гиперпараметр С такой.
показать ответы
3
DELETED
Автор поста оценил этот комментарий

Автору отсыпал увожения, не каждый способен вот так сменить профессию только на силе воли, не потратив при этом денях на обучение (по крайней мере, платных курсов в списке не обнаружил (курсерой можно бесплатно пользоваться)).

Обидно, что не уделено внимание матеше, без который тяжело понять Истинный Глубинный смысол алгоритмов МО, и уж тем более, понять, как оно работает. Для тех несчастных, кто решится подтянуть математику, пригодятся: диффуры, мат.анализ, теория вероятностей и линейная алгебра (в компьютерное зрение без линала путь закрыт).

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Спасибо) Точно, запамятовал. Но к своему стыду отмечу, что чистую математику по мере обучения я целенаправленно не осваивал, а разбирался по мере непонимания...Но у меня был очень хороший курс математики в институте, и она мне очень нравилась тогда, так что это может сыграло на пользу.

показать ответы
5
DELETED
Автор поста оценил этот комментарий
Похожая ситуация, даже участвовал в соревнованиях на Kaggle. Пригласили на собеседование и я завалил часть с задачками по теории вероятности и статистике. Был большой упор на теорию работы алгоритмов. Поэтому решил подтянуть матричные исчисления. Если в регрессию в матричной форме я понимаю, то регуляризацию уже нет
раскрыть ветку (1)
2
Автор поста оценил этот комментарий
Кстати у меня пробел с теорией вероятности, потому что в реальной работе она пока что оказалась нужна лишь для предварительной оценки результата: типа а вот 40% точность как далека от случайного угадывания, если на выходе 15 параметров? Но надо подтянуть все равно.
83
Автор поста оценил этот комментарий
Отличный пост! Больше такого контента!
Самв ааналогичной ситуации с должностью, хочу изучать программирование для сознания мобильных приложений, только не могу найти действительно инфу "для чайников". Автор, ты красавчик :)
раскрыть ветку (1)
2
Автор поста оценил этот комментарий
Спасибо) с мобильными приложениями не сталкивался сильно. Знаю, что для андроида сейчас популярен потомок java - kotlin, на степике тоже курс есть, но очень поверхностный. Для эппла, соответственно, swift. Хотел тоже приложение попробовать написать, когда узнал, что есть библиотеки мобильной разработки для питона, но никак не дойдут руки
показать ответы
0
Автор поста оценил этот комментарий
Что такое датасайнс? Дата сайентист, похоже по смыслу на ученого по данным. Но что они делают?
раскрыть ветку (1)
4
Автор поста оценил этот комментарий
Особенности терминологии. По-хорошему, так бы называть именно исследователей-математиков, но вслед за модой так называют всех подряд, кто работает с данными.
показать ответы
60
Автор поста оценил этот комментарий
Завидую, дружище, по хорошему завидую.
Год назад загорелся "войти в IT", тоже на stepik начал грызть кучу курсов: математика, статистика, логика, python. Но через полтора месяца сгорел( Уже точно не помню, на каком именно моменте сломался, вроде на python, неделю не мог там что-то путного накодить, и всё
А так 31 год, 10 лет на стройках, вроде и профессионал я хороший, и зарабатываю хорошо, но не то, не то...
Надеюсь, найду в себе силы еще раз попробовать.
А ты большой молодец!)
раскрыть ветку (1)
2
Автор поста оценил этот комментарий
Спасибо) я не перегорел из-за мотивации - работа сильно достала, но ничего другого я не умел
показать ответы
0
Автор поста оценил этот комментарий
Сколько полноценных приложений/проектов реализовал до смены работы?
раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Полноценных нисколько. У меня на гитхабе 4 репозитория лежит, где проекты уровня соревнований на каггле. На тот момент самым интересным была классификация отзывов кинопоиска, причем самым интересным оказалось собирать отзывы, потому что у кинопоиска нет апи, и я парсил страницы, а меня нещадно банили уже на 2 запросе, несмотря на всяческие ухищрения.
показать ответы
1
Автор поста оценил этот комментарий
«На практике оказалось, что БД +- sql-образные» Советую подробнее изучить этот вопрос. SQL в чистом виде применим только к реляционным базам данных, у него есть огромное множество диалектов. Часть диалектов связаны с конкретными БД (прим. Postgres, Oracle, MySQL). Есть связанные с фреймворками (прим. HQL - Hibernate). Второе семейство БД уже является довольно разношерстным - нереляционные. Среди них тоже используется что-то похожее по синтаксису на SQL (прим. CQL - Cassandra), но реализация лежащая за этим синтаксисом абсолютно другая, нежели в реляционных БД.
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Да, я это понимаю. Для саморазвития я посмотрел про хадуп, кассандру. Но я имел в виду, что с позиции получения и несложной агрегации данных тот же синтаксис более-менее единообразен. По сути, самое важное знание по БД, которое пришлось выработать довольно быстро - как ее не положить своими запросами.

показать ответы
DELETED
Автор поста оценил этот комментарий

Мда... Очень это печально. Нет, за автора я рада, а вот ситуация пугает. Человек по большому счету без знаний будет работать с вашими (и возможно моими) данными. Когда в Европе требуют хотя бы одну степень, то у нас "курсов достаточно". Это я уж молчу, что при такой скорости обучения большинство знаний просто отвалииься через месяц, если их не использовать.

Сама учусь по этому же профилю. И тоже курсами, но смотрю потихоньку как мне быстро получить вышку..

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
К счастью, у меня есть более умные и опытные старшие товарищи
показать ответы
2
Автор поста оценил этот комментарий

Какой совет дадите мне, начинающему в сфере IT? Ушёл из низко квалифицированной работы, сейчас пытаюсь учить 3д - голова просто кипит, иногда сдают нервы, но так хочется туда, в мир креатива и дизайна :(

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Я сам начинающий. Так что советы те же учиться и не бросать. Как уже упоминал кто-то, для доп мотивации полезно заниматься своим проектом, это всяко интересней
0
Автор поста оценил этот комментарий

Автор, желаете рассказать свою историю на одном фестивале? Нашей аудитории зашло бы) @AlBryl

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Не, спасибо
0
Автор поста оценил этот комментарий

Из списка у меня 3 завершенных и пара отложена. Но зачем уходить на R из Python`a? Именно для Data Science?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Да и не надо уходить. То были неплохие бесплатные курсы по анализу данных и статистике. Были б такие на питоне, проходил бы их. Но это была хорошая практика, кстати, перенести все эти знания с R на питон, научился читать документацию.
2
Автор поста оценил этот комментарий
Жму лапу и поздравляю с успешно пройденным первым этапом. Тоже относительно недавно решил поменять свою жизнь, причëм по схожим причинам) 34 года, основная работа далека от айти насколько возможно. Учу сейчас программирование, голова пухнет, нервы сдают, но продолжаю ползти.
Прочитав пост, подумал что стоит, возможно, закинуть просьбы выслать тестовое задание по своему профилю, чтобы хоть посмотреть на него и примерно оценить текущий уровень.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Спасибо, и вам удачи! Кстати да, попадались мнения, что необходимо ходить по собеседованиям даже если квалификации еще нет - это даст представление как об уровне той самой квалификации, так и о требованиях.

0
Автор поста оценил этот комментарий
Столько видео-курсов и ни одной книжки?
раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Были и книги, забыл упомянуть. А ещё было много статей - сначала хабр, теперь и на английском почитываю. Язык как-то сам собой подтянулся
показать ответы
0
Автор поста оценил этот комментарий
Ты молодец. Когда нибудь я напишу такой же пост про себя и отмечу твой, почитай) я ушел из медицины в IT.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Спасибо, почитаю)
2
Автор поста оценил этот комментарий

Черт возьми, @AlBryl,  вы не представляете насколько ваш пост сейчас оказался мне полезным. Я пытаюсь войти в ДС уже порядка 3 месяцев и ничего никак не получалось. Сейчас прочитав ваш пост я обнаружил для себя много недочётов что я допустил, сейчас кстати собираю резюме, чтобы податься на бесплатную стажировку

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Не в яндекс ли случайно?
показать ответы

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества