Записал на YouTube бесплатный обучающий курс по инженерии данных, кому интересно - можете ознакомиться⁠⁠

Ну, у яндекс пракрикума по дата сайнс - тоже на троечку курсы - лучше на хабре почитать циклы статей, а потом на kaggle практики набить...

По поводу гикбрейнс/скиллбокс - то же согласен - даже больше, в своём видосе, как искать работу - отдельно говорю, что все эти курсы в резюме указывать точно нельзя...

Есть оперативная база (OLTP), например на PostgreSQL, она строковая. Делать на неё аналитические запросы (например, выбрать данные за 5 лет с группировкой подневно) - во-первых сильно загрузит базу, во-вторых будет работать очень медленно.

Чтобы этого избежать - надо продублировать даннные в какой-нибудь Clickhouse (колонковая БД, OLAP) - чтобы аналитические запросы работали быстрее (кейс из недавней практики).

А ещё иногда бывает что в компании очень много различных баз - и надо все данные оттуда в какой-нибдь Hive/Hadoop собрать, чтобы просто можно было ко всем им одновременно запросы писать (в любой крупной компании, типа X5 Retail group или банка) - за это тоже отвечает инженер данных.

Ну, если будете подряд смотреть на ютубе 40 уроков - в части про SQL я как раз понятно всё рассказываю - так чтобы люди с 0 всё поняли...

Про плодят конкурентов - сильно сказано)

Из группы в 12 человек - 6 слились не дойдя до конца, из оставшихся - половина чёт по собесам не ходит.

Получается, конверсия в лучшем случае 25% - и это с группы.

Кто самостоятельно занимается - забъёт примерно или на установке PostgreSQL на сервер, или на установке Airflow - т.е. до конца не доучится.

И это при том, что по одной Москве аналитиков данных надо что-то около 1,5К человек. Т.е. там дикая нехватка кадров в аналитике - но все почему-то в бекенд на питоне лезут...

А на инфоцыгана я не обижаюсь - т.к. гораздо лучше хоть что-то делать, чем обиженно всех говном поливать.

P.S. до этого курса на всём русскоязычном ютубе - было глухо по этой теме - поэтому и решил записать - конкурентов то нет...

Ещё бывает прикол у дата сайнтистов, которые из науки пришли: как модели обучать знают, теорию всю знают хорошо - а простой SQL запрос к базе, чтобы сформировать для себя датасет - написать не могут.

Вот им бы как раз подтянуть этот момент...

Курс в большей части про инженерию данных - но до тех уроков, где начинается Airflow - полностью пересекается с обучением на аналитика данных.

Потом доучить Jupyter Notebook, matplotlib, A/B тесты и маркетинговые термины вроде ROI, LTV, CPC и другие - и можно аналитиком устраиваться.

лул)

9К я поставил потому - что больше на том сайте не поставить - а я просто новых индивидуальных менти брать не хочу (времени на это сейчас нет) - но и аккаунт там удалять тоже не хочу.

(по 9К было пока 0 человек, кто бы хотел заниматься)

Представьте, что у вас в таблице 50 колонок.

Если вам надо достать какое-то поле, в PostgreSQL, с жёсткого диска будет считываться строка со всеми 50 колонками.

В колоновых базах данных данные лежат по колонкам - и во-первых не будут с жёсткого диска читаться ненужные колонки, во-вторых 1 значение будет записано 1 раз - поэтому группировка и фильтрация будут значительно быстрее идти.

+ колонковые базы оптимизированы под работу с аналитическими запросами.

А так да, PostgreSQL база с индексами будет работать значительно быстрее, чем без них. Но на аналитических запросах колоновые БД будут работать раз в 100 быстрее.

Да у меня и по SQL подача самой базы похуже, чем популярные курсы на том же ютубе. Я все уроки проводил без подготовки, прям из головы.

В чём тогда ценность моего курса:

1. Собрал всю информацию по инженерии данных в одном месте. До этого такого не было.

2. Многие люди на курсе - с полного 0 занимаются - ну и задают соответствующие вопросы. Мне кажется, это очень полезно будет для тех, кто тоже с 0 будет.

Ну раньше было - а как канал на ютубе завёл - толком и нет - разве что группа наберётся...

Некоторые проекты даже на Node.js пишут бекенд - а потом разоряются на железе.

В этом плане FastAPI немного получше будет, как по мне.

Но если надо чтобы прям быстро работало - тут конечно go (но на нём код писать несколько медленнее, чем на Python)

Не поднимают - по 9К было 0 человек пока - что мне и требовалось - т.к. пока нет времени кого-то менторить...

У меня про это на курсе рассказывается - можете сразу переходить на часть с SQL.

Там сначала в первых уроках обзорно - потом ближе к концу будет про индексы и про то, как всё внутри работает...

Ну фиг знает. 2/3 задач в аналитике - склепать ad-hoc запрос на SQL. А на это тоже людей не хватает.

Ну, основной свой аккаунт я удалил в 2022 году, этот реально сделал только ради того, чтобы свой курс попиарить - и в этом ничего плохого не вижу.

Ну из 12 человек 4 там уже были.

Ещё 4 сейсас по собесам ходят - всего ничего времени прошло, как курс закончили...

А так до этого одного человека по этой же программе прям плотно менторил - он уже 2 оффера на 200К получил.

Но он 2,5 месяца 5 дней в неделю по 4 часа занимался...

Ну ты и мудак...

Сними "полезное"видео.

Снимаешь их несколько часов - а потом всего 400 просмотров всего:

https://youtu.be/ZoEEBf-6wJ0?si=wz8yeGD2fgMpVeHt

https://youtu.be/2YlWZyJ9G8Y?si=1Wnwbs_4bdHm6RHF

https://youtu.be/T9e8MWcLPUg?si=7D3pwDJTJqdMTqft

На каждое из этих видео я потратил минимум по 20 часов своего времени на изучение информации.

Видос с Airflow снимал 6 часов подряд.

Все 3 видео - уникальные. Уникальные - значит такой информации в русском сегменте интернета нет ни в виде текста, ни в виде видео.

По установке Airflow есть только 1 статья на хабре за 2020 год - тоже моя.

YouTube●26:35

YouTube●33:36

YouTube●8:48

Если тут напишу - будут опять говорить что я рекламирую что-то и инфоцыганин.

Планирую брать после майских - у меня есть про это видос на канале.

Увы, не слышал про это.

Там вроде по Airflow был более-менее курс.

А так я это на курсеру не дублировал - т.к

1. И так на ютубе всё записал.

2. На курсеру это все переносить - примерно 4 месяца потребуется - я пока не готов на это столько времени тратить...

Ну так сделай лучше, умник)

Пиздец конечно, нуб, который этим 13 лет занимается...

чёт тебя порвало 🤣

жиза

ого, меня начинают узнавать)

по-моему, я там аргументировал, почему тильду не стоит использовать никогда...

Привет!

Тут написать не могу - забанят.

Телега есть в описании профиля моего ютуб канала - можешь там найти)

Ну смотри, на джой реактор копируют популярные посты с пикабу, а в обратную сторону - нет.

Я хотел чистоты эксперемента - сколько с какого сайта подписчиков будет.

С джойреактора пока суммарно 200 человек за неделю, с пикабу - 1200 только за первые 12 часов.

С качеством видео работаю.

Когда начинал - было прям плохо, сейчас закупил 4К камеру и студийный микрофон - а ещё как свет за 100К рублей приедет - будет прям хорошо.

Пока в мебель и аппаратуру вложил 200К рублей, а заработал на этом 0.

Хотя, когда курс записывал - вложено было 0.

Нет, на прошлом аккаунте я только в политике срался - скорее всего это был другой человек...

Если честно - в части по SQL есть пара курсов получше, чем у меня.

Но там упор именно на SQL - а у меня на всё в связке с инженерией данных...

Ну, отдельных людей поменторить я сейчас готов брать только очень задорого (времени нет) - так что вряд-ли кто-то на такое согласится, а вот ещё одну группу, но за бабки - может и буду брать - если люди наберутся. Так что в части про getmentor - это не особо реклама. А почему я назвал пруфом - независимый сайт - и у меня на нём 18 менти - мне кажется это означает, что я знаю что делаю, когда пытаюсь людей учить...

Прочитайте про то, чем колоночные БД отличаются от строковых - будите удивлены...

математика нужна в DS.

в инженерии данных - нет.

блядь.

установи себе airflow + postgre, на линуксовый сервер, без моего видоса.

Засеки время и напиши сюда, сколько реально получилось (раз это так просто)

Пиздеть - не мешки ворочать.

А тот видос на 5 минут снят тоже по мотивам моей статьи с хабра (там ссылка в описании видео) - и не раскрывает ни одного момента, где что-то идёт не по инструкции - по нему ничего не настроить.

вы только что прослушали типичного говноеда с хабра 🤣🤣🤣

можете доучиться и в аналитики

хабр - контора пидорасов.

я там дважды в пермонентном бане - я и ютуб канал завёл, чтобы туда статьи говорить, а не на хабр писать - как-раз из-за того, что на хабре и администрация, и модераторы, и поддержка - говноеды!11111

Так я в видосе примерно это и говорю?

продакт менеджер, скрам мастер, маркетолог

нет.

у меня брат Андрей - через месяц ЕГЭ пишет

А вы пробовали курсы от яндекса?

Я - да, поэтому уверен, что смогу людей лучше научить.

Последний видос в плейлисте с курсом как раз про это, посмотрите)

Ну это не для джунов с 0...

на курсе был 1 человек тоже после 1С

а?

Контакты для связи есть в описании ютуб канала на ютубе, здесь не напишу - а то забанят...

Материал будет одинаковый - что в платной группе, что видосы смотреть.

Бесплатных групп больше не будет - т.к. я не мать Тереза - изначально набирал бесплатную группу, чтобы материал обкатать и всё записать.

Отличия от того, чтобы просто видосы смотреть в том, что:

1. Буду объяснять непонятные моменты.

2. Будет расписание занятий. Это как в спортзал с тренером ходить - больше мотивации + распорядок недели сложившийся.

3. Если люди вложились деньгами - вряд ли они захотят их терять, не доучившись до конца.

На какую тему?

Я планирую несколько видео записать на тему, как платёжки к сайту подключать на связке FastAPI + React

Добрый день.

Все контакты в профиле ютуба или на getmentor (ссылка была в посте)

Да, рассказывал

Простые аналитики данных в половине случаев просто сидят и делают sql запросы к базе

Если поставите такую цель - то да.

Не, я его решил не давать - чтобы люди сразу по собесам начали ходить - а не доучивать ещё его (заняло бы недели 2-3, а нужно в 1 месте из 20)

Ну так видос называется не "что такое инженерия данных" - а "почему входить в IT лучше инженером данных".

Там я разбираю 5 причин, почему.

По ним есть какие-то вопросы?

Ну, если в этом курсе посмотрите про Airflow - сможете удобно аркестрировать ваши скрипты по парсингу и загруке данных.

А то хотя Airflow стал практически стандартом отрасли - в половине фирм всё пока на самописках на Python делают...

понравился этот видос?)

1. Лучше сделать хоьь как-то, чем долго готовиться и не сделать (девиз моего ютуб канала).

2. Посмотрел на юдеми - чёт не нашёл там, курса по инженерии данных. Либо SQL, либо ML.

3. Все знают, как сделать лучше - только никто не делает(

Так аргументы хоть какие-то можешь привести? - а то это пока просто пиздеж...

Не могут (смотрите статистику).

В инженерию данных - на уровне сложения/умножения.

В аналитику - лучше немного теорвер знать, как минимум.

Интегралы/производные - не надо.