2154

Мой путь в data science

3 месяца назад в одном из комментариев я упомянул, что нахожусь в процессе трудоустройства в дата-саентисты из совершенно другой области деятельности. Около 20 человек попросили рассказать об этом подробнее, когда закончится мой испытательный срок. Вот он заканчивается, но мне уже сказали, что я прошел, так что вот рассказ.


## Немного предыстории.

Я работал с 2013 года на одном месте, а с 2015 года я стал занимать низкую руководящую должность и это было плохо. Напрягали и снизу и сверху, из-за чего процесс выгорания занял гораздо меньше времени, чем можно предположить. Фирма занималась разработкой систем автоматизации химических предприятий, а начальствовал я в сборочном цехе, а значит занимался не только руководством, но и складом, и сборкой, и погрузками-разгрузками, и в командировки ездил, и снег зимой чистил. Интеллектуального развития минимум, зато смог отладить процесс так, что стало появляться много свободного времени, которое я тратил на просмотр пикабу и прочего. И вот, в октябре 2019 я решил, что хватит растрачивать свой потанцевал и надо заняться чем-то интересным. Я вспомнил о том, что в 2015 году я проходил профориентационный тест на hh и он мне показал склонность к аналитике. Тогда я на это дело забил, какая еще аналитика с отверткой в руках, а теперь, в 27 лет, вспомнил и решил посмотреть, что есть в этой области и увидел дата сайенс.

## Процесс обучения

Стоит отметить, что с айти я косвенно сталкивался и исключительно в личных интересах. Как-то ковырял ардуино недолго, еще однажды решил изучать программирование и прошел курс по с++, там была самая база, но курс очень хороший (я даже пытался изучать более углубленно, но тогда застрял на указателях и не осилил). Еще упомяну, что по специальности, которую я получил аж в 2013, я сервисник транспортных и технологических машин и оборудования. В институте на программировании мы разве что оттачивали навык подсчета открывающих и закрывающих скобочек.


Так вот вернусь к октябрю прошлого года, когда 7 числа я открыл курс на степике по введению в машинное обучение (чуть ниже я прикреплю ссылки на некоторые полезные курсы и ресурсы), прочитал описание, увидел, что необходимо предварительно изучить, закрыл курс и начал по списку: python, алгоритмы, статистика, анализ данных и т.д. Только к новому году я дошел до курса по введению в МО и прошел он, после этой базы, как по маслу, а там пошли уже и нейросети.


Многие не верили, что за 3-4 месяца можно освоить профессию. Так вот мой вам ответ - и правда нельзя. Но я прикладывал очень много усилий. Как уже упоминал, у меня было некоторое количество свободного времени на работе, которое я полностью тратил на обучение. 3 месяца я совершенно не просматривал развлекательный контент: ни кино, ни сериалы, ни пикабу - я приходил с работы, и часов до 10 учился. Даже с женой чуть конфликтовали из-за этого. Весь декабрь я провел в командировке, там мы не напрягались, но на режимном заводе особо не поучишься, поэтому мой распорядок дня в декабре выглядел так: в 6:30 просыпался и учился, пока все спали, после работы быстро ел, купался и до вечера снова упарывался. Очень уж увлекло. Вот, например, моя новогодняя фотка:

По поводу ресурсов: в качестве старта мог бы порекомендовать пройти вводный бесплатный модуль яндекс практикума. Там все просто и понятно рассказывается, но, на мой скромный взгляд, довольно не структурировано и скучно. Поэтому однозначно я рекомендую курсы на степике, которые и бесплатны, и дадут необходимую базу для осмысленного гугления. В таком порядке я их проходил:

1. https://stepik.org/course/67

2. https://stepik.org/course/512

3. https://stepik.org/course/217

4. https://stepik.org/course/1547

5. https://stepik.org/course/76

6. https://stepik.org/course/129

7. https://stepik.org/course/724

8. https://stepik.org/course/524

9. https://stepik.org/course/2152

10. https://stepik.org/course/4852

11. https://stepik.org/course/8057


Это база, по МО еще очень хороший курс на курсере, но там много математики:

https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie/

А потом можно и нейросети посмотреть:

https://stepik.org/course/401

https://stepik.org/course/54098 - курс просто огонь, но он специализирован.

Важно так же учитывать, что умение работать в jupyter notebook оказалось не единственным важным умением для работы вообще: обязательно нужно понимать хотя бы как работают базы данных и уметь делать запросы и аггрегировать данные. На практике оказалось, что БД +- sql-образные, и научившись запросам в MySQL, нет проблем научится в Clickhouse, несмотря на разные архитектуры. Поэтому вот:

https://stepik.org/course/2614

Еще оказалось, что на новой работе все на линуксе. Мне, как виндоводу, оказалось полезно это:

https://stepik.org/course/73

Ну и какой смысл в моих ноутбуках, если я не умею делиться ими:

https://stepik.org/course/3145

Что еще можно сказать по обучению... Обязательно нужно закреплять полученные знания на практике: освоив какую-нибудь крупную тему, я заливал свой говнокод на гитхаб для портфолио (да, уже сейчас я вижу, что он говнокод). И несомненно нужно хоть немного знать английский.

## Собеседование и увольнение.

Так вот к февралю я уже кое-чему научился и решил наудачу сделать новое резюме. В резюме указал все честно, что я щегол, но все равно набрался наглости разослать резюме по 2-м фирмам с просьбой выслать мне тестовое задание, которые нашел в соседнем городе (30 км между городами). В своем городе ничего не было, та еще деревня. По второй вакансии мне сразу отказали, да и по первой тоже, сказав, что кандидат уже есть, да и джун я несчастный, но тестовое могут прислать, мало ли. Тестовое я сделал (необходимо было проанализировать временной ряд с явно выраженной сезонностью и сделать предсказания) и отправил с той же надеждой, типа мало ли. И вот 2 недели тишины. В один из дней на меня наезжала бухгалтерия по поводу беспорядка со спецодеждой, я в сердцах воскликнул, как меня достала эта работа, и тут же (через 2 часа, на самом деле) мне поступил звонок с приглашением на пообщаться. Формулировка та же: ничего не обещаем, но мало ли. Естественно, я поехал.


На собеседовании было неплохо и все по делу. Тестовое оказалось сделано необычно, с изюминкой, видимо это и понравилось. На технические вопросы я ответил (в основном мы общались по нейросетям, потому что я упомянул, что использовал их для своего проекта. Но т.к. всем известно, что для "import keras" много знаний не надо, меня спрашивали по их структуре: что такое функции активации, какие я знаю, почему они должны быть дифференцируемы и т.д.). По итогам собеседование мне сказали, что они еще подумают и через пару дней предложили должность. Естественно, я согласился) Тем более, что стартовую зарплату мне предложили такую же, как я получал на должности начальника на старой работе, но это говорит не об огромных зп в айти, а о мизерных зарплатах в моей "деревне", поверьте.


Увольнение проходило не так уж гладко, потому что много на мне завязано было, но отпустили с миром, за что большое спасибо.

## Новая работа

Новая работа - это жесть. Мне было очень тяжело первое время: непрерывное гугление и чтение документаций, теперь минимум 8 часов в день я непрерывно думал и голова болела каждый вечер. В конце недели я видеть компьютер не мог и ни о каком продолжении саморазвития по выходным я даже думать не хотел - вообще к компьютеру не подходил. Но самое сложное оказалось сидеть: болит не только спина, это лечится упражнениями, но даже жопа. Но ничего, за пару месяцев натер трудовой мозоль.


Не могу сказать, что я ворвался как по маслу в новую работу, было и недопонимание, и притирка к коллегам, да и просто знаний не хватает. Но отмечу, что провал в знаниях у меня больше в сторону программирования и прочих скиллов, связанных с расширением айтишного кругозора, а вот сами алгоритмы МО мне вроде неплохо даются. К тому же, контора занимается защитой трафика, поэтому мне приходится узнавать много об этом тоже: протоколы, атаки, api и т.д. В общем, обучение не прекращается никогда и за 3 месяца испытательного срока я уже научился никак не меньшему, чем за время самостоятельного обучения.


Новая работа нравится и о старой вспоминаю с легким содроганием.


Еще забавный момент. 16 марта я вышел на работу, а с 18 нас отправили по домам на удаленку. Вот до сих пор на ней сижу, в офисе был всего 4 раза за все время)


Вроде все. Вот пара пруфов для скептиков.

Вы смотрите срез комментариев. Показать все
DELETED
Автор поста оценил этот комментарий

Мда... Очень это печально. Нет, за автора я рада, а вот ситуация пугает. Человек по большому счету без знаний будет работать с вашими (и возможно моими) данными. Когда в Европе требуют хотя бы одну степень, то у нас "курсов достаточно". Это я уж молчу, что при такой скорости обучения большинство знаний просто отвалииься через месяц, если их не использовать.

Сама учусь по этому же профилю. И тоже курсами, но смотрю потихоньку как мне быстро получить вышку..

раскрыть ветку (18)
4
Автор поста оценил этот комментарий

Ерунда, многие наши соотечественники уезжают работать в Европу и тоже работают с данными и совсем не у всех есть степень. Если бы на работу с данными брали только людей со степенью, то был бы гораздо больший кадровый голод в этой сфере.

раскрыть ветку (4)
2
DELETED
Автор поста оценил этот комментарий

Приведите пруф, пожалуйста.

раскрыть ветку (3)
0
Автор поста оценил этот комментарий

Я не знаю как предоставить пруф, но на прошлой работе человек работал в соседней команде ds...а сам он повар из Барселоны. (это Берлин)

Может быть в faang вас без корочки и не возьмут, но вот на джуна-миддл устроиться в мелкий или средний стартап в Европе можно и расти внутри компании. Там очень много кандидатов из Индии, у которых чуть ли не докторские степени и по 2-3 высших образования, а по факту на собеседовании кодинг задание простое сделать не могут.

раскрыть ветку (2)
0
Автор поста оценил этот комментарий

вышки в Индии получали наверное?)
если да, то это наверное как наши депутаты с купленными докторскими степенями.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

не обязательно, многие учатся в Германии. Даже если не купленные дипломы, то все равно качество образование сильно отличается от страны, универа и самого человека. Помню, когда пришел в универ, были люди с разных школ. Один приехал с деревни недалеко от города. Он сказал, что был почти медалистом, а в универе он кое-как доучился. Другой сказал, что был троечником, а он учился на стипендию 4-5, оказалось, что из физико технического лицея. Хотя чисто формально у них одинаковые дипломы, только у деревенского оценки лучше. Вот и думай после этого о реальной ценности дипломов, аттестатов и прочих бумажек. Поэтому, я при найме сотрудников конечно смотрю на опыт работы если есть, но в первую очередь, отсылаю задание. Если человек справляется, то уже можно тратить время на собеседование

4
Автор поста оценил этот комментарий

не преувеличивайте значение корочки. Понятное дело, что если вышка есть по специальности - это хорошо. Но если нет, а человек толковый, то какая кому разница, что в прошлом он был строителем, доктором или дворником.


На счет образование в универе. Обычно это групповое обучение и скорость обучения может сильно зависеть от скорости обучения самого тупого студента. Я воспринимаю онлайн курсы как просто ахеренный социальный лифт, которого не было раньше и очень круто, что хотя бы в it можно войти имея просто реальные знания, а не диплом.


Сам я дипломированный человек и преподы у нас были очень хорошие, факультет как по мне один из лучших, но вспоминая одногруппников, где-то половина училась очень плохо и не втыкала совсем. Большую кучу отчислили, но все равно остались люди, которые не понимали базовых вещей и выезжали просто на том, что они какие-то там квнщики или активисты. И вот я понимаю, что их диплом ну совсем ничего не стоит.


Но даже на моем курсе, были предметы, которые были скорее для общего ознакомления. Например, многие инструменты и специальности, которые мы проходили так и не пригодились в жизни. И это не только философии, экономики, история, библиография...а latex, labview, какие-то просто теоритические курсы, которые сильно отставали в актуальности.


Тоже самое я могу сказать и о всяких разрекламированных MBA, которые по своей сути не несут знаний, а лишь связи.


Вышка не нужна, лучше взять специальность на куурсере, прочитать пару книг и сделать 10 реальных мини проектов. Знаний уж точно будет больше, чем от любого высшего образования.

раскрыть ветку (4)
0
Автор поста оценил этот комментарий
не преувеличивайте значение корочки. Понятное дело, что если вышка есть по специальности - это хорошо. Но если нет, а человек толковый, то какая кому разница, что в прошлом он был строителем, доктором или дворником

По косвенным статистикам в DS степень Master у 70%, включая 40% PhD. Bachelor там вообще под 95% будет

DELETED
Автор поста оценил этот комментарий

Ds это не it. Это совсем совсем другое. Это по большому счету современная статистика. Это обработка твоих данных. Это прогнозирование твоих поступков и решений. Это не "написать код лишь бы работал", не "хуяк хуяк и в продакшн". Это очень серьезная штука. Даже если брать тупо самое безообидное - онлайн магазин, можно так сильно накосячить, что продажи ухнут в ноль (если, конечно, выработаны тобой стратегии применят, если нет, то зачем ты там вообще нужен?). Автоматизация процессов выдачи карт, кредитов и тд. Ты ж понимаешь, что тут уже надо образование.

Опять же мы не говорим по уровень образования в России. В России можно изучать только фундаментальные науки и то уже, наверное, врятли.

раскрыть ветку (2)
1
Автор поста оценил этот комментарий

То что вы описали, это идеально в теории, т.е. возможно в каких-то крутых конторах все так и работает. В мире большинство контор, даже с очень известными именами просто шараги изнутри. Как обстоит дело там с ds. Человек говорливый, который знает слова из области ds, приседает на уши инвесторам, директору компании и решают создать отдел, который приведет контору в светлое будущее. По итогу, уже куча библиотек для этого написаны и зачастую делаются какие-то простейшие решения аля-отсортируй зернышки по видам растения. Т.е. берут уже готовое решение и просто кастомизируют его.


Был на митапе в одной конторе. Себя позиционировали как ds компанию, а как начали рассказывать чем занимаются, оказалось, что по сути взяли наполовину готовое решение с курса andrey ng про рак кожи и банально просто продолжают учить систему на более широкой выборке. Это я к тому, что если вы попадете под начало Andrey Ng там конечно образование нужно и если вы не эксперт в математике, статистике, программировании, то ничего не получится, а вот знание известных библиотек, вполне обеспечит вам место в той конторе, которая официально занимается ds.


Если говорить про РФ, то там вообще все грустно и скорее всего некое подобие реальных задач, для которых нужны знания статистики, математики, тервера и прочего, можно встретить разве что в Яндексе, JetBrains и может быть сбертех, для остальных контор ничего сверх крутого не требуется и что-то сломать уж точно не получится.


И еще, большинство более менее современных контор работают в убыток на деньги инвесторов. Так что там как раз все делается так, чтобы выплюнуть релиз, чтобы инвесторы видели, что что-то делается и в следующий раунд отсыпали еще денег. Это касается ds в том числе. И зря вы говорите, что это не it. Все там абсолютно также как и в любой другой галере.

раскрыть ветку (1)
0
DELETED
Автор поста оценил этот комментарий

Я, честно скажу, хз как в России ведется бизнес изнутри, но то что он постоянно закрывается переоткрывается - это точно. DS для сортировки зернышек не нужен. Хотя тут может быть простая безграмотность, когда элементарный DA называют громким DS. В резюме смотриться лучше.


То что вы говорите заставляет меня грустить. :(

2
Автор поста оценил этот комментарий

Вот тоже не понял. Автор, ни в коем случае показаться, что я быкануть пытаюсь как-то, плюс посту поставил)


Но за три месяца сесть и выучить(под выучить понимаю хотя бы разобраться с основным) такую обширнейшую область? Я думаю, это просто невозможно. Одних только нейросетей и их видов - это на пару месяцев минимум, как по мне. А это ведь только составная часть машинного обучения, которое в свою очередь составная часть DS. Нужны матан, статистика, линейная алгебра, немного численных методов.  И в принципе я бы готов поверить, если бы у автора на момент начала обучения был опыт программирования в питоне, допустим. Или он был физикой увлечен, именно теоретической. Ну либо действительно умный их тех, которые один на тысячу.


Я старался читать внимательно, но так и не увидел какое у автора образование. Если не СТЕМовское, то эту тему вообще нереально просто физически осмыслить даже за пол года

раскрыть ветку (2)
1
DELETED
Автор поста оценил этот комментарий

Ну тут товарищи выдвинули простую и логичную теорию - не хватка кадров и берут всех подряд.

0
Автор поста оценил этот комментарий

ни в коем случае показаться

*ни в коем случае не хочу показаться

1
Автор поста оценил этот комментарий
К счастью, у меня есть более умные и опытные старшие товарищи
раскрыть ветку (4)
3
DELETED
Автор поста оценил этот комментарий

Но ведь... DS это не страничку в html сверстать. Обычная методология введет в ступор не подготовленного. А это вообще самое-самое начало... Еще даже до сбора данных. И обучить этому... Ну, скажем честно, трудно. Разве что накидать цчебников... Не знаю, тяжко вам это будет, имхо.

раскрыть ветку (3)
0
Автор поста оценил этот комментарий
В аналитике данных сейчас серьёзный дефицит кадров. Так что нет ничего удивительного в том, что в эту сферу берут людей без профильного образования.
раскрыть ветку (2)
0
Автор поста оценил этот комментарий

стоит отметить что дефицит именно хотябы немного толковых кадров, ибо идут все подряд, кто даже дерево от рандомного леса не отличит

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
С одной стороны согласен. Но с другой, когда ты месяц-другой собеседуешь хрен пойми кого, начинаешь потихонечку планку снижать..
Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества