Записал на YouTube бесплатный обучающий курс по инженерии данных, кому интересно - можете ознакомиться⁠⁠

Инженерия данных - профессия, отвечающая за сбор/обработку/сохранение и прочие манипуляции с данными. Служит, собсно, для получения данных из разных источников и передачу этих данных бизнесу для остальных манипуляций (собсно, аналитика, DS и т.п.)

Иногда результаты моделей машинного обучения тоже инжи обслуживают.

Прям очень грубый и простой пример:

есть у вас десяток магазинов, каждый магазин ведет свою БД с продажами/заказами и прочим.

Вот тот человечек, который "объединит" информация от всех ваших магазинов в единую БД и предоставит данные для анализа/сравнения и будет инженером.

*по факту, конечно, для таких мелочей отдельного человечка нанимать не будут, но подобные задачки являются одним из кусков специальности*

на русский это "чтобы не тормозило"

Да там и написан пример стиля "объяснить новичку различия", причем вроде именно такой пример, с аггрегацией за 5 лет, дает сам автор кликхауса.

Работа с БД у бэков осталась, куда ж без нее.

Понятно, что у разных компаний может быть разная структура, особенно у мелочи, но, в общем и целом, DE будет собирать/преобразовывать то, что приходит от бэка, подготавливать для постоения бизнес-отчетов. И, соответственно, собирать информацию не только от бэков, но и забирать всякие CRMки, внешние источники...

И, соответственно, это может быть от чистого SQL до моделек машинного обучения.

Есть целое направление постоения DWH с разными принципами записи полученных данных, иногда даже инжей DWH выделяет отдельных :)

А я кран вчера один починил, другой заменил. И я при этом даже не сантехник. А сегодня я поесть себе приготовил на завтрак, и я даже не повар!

Представьте, что у вас в таблице 50 колонок.

Если вам надо достать какое-то поле, в PostgreSQL, с жёсткого диска будет считываться строка со всеми 50 колонками.

В колоновых базах данных данные лежат по колонкам - и во-первых не будут с жёсткого диска читаться ненужные колонки, во-вторых 1 значение будет записано 1 раз - поэтому группировка и фильтрация будут значительно быстрее идти.

+ колонковые базы оптимизированы под работу с аналитическими запросами.

А так да, PostgreSQL база с индексами будет работать значительно быстрее, чем без них. Но на аналитических запросах колоновые БД будут работать раз в 100 быстрее.

Вы про микробизнесы пишите.

А речь о серьезных компаниях.

Допустим у бизнеса есть очень много данных в 1С. Бизнесу понадобилось эти данные проанализировать и преобразовать, для этого пишется сервис. В сервисе используются операционные и аналитические хранилища данных, куда данные выгружаются из 1С, преобразовываются и раскладываются этим самым сервисом. Это необходимо, чтобы не было никакого влияния на продуктовую базу 1С.