Разработчик Dwh. Стоит ли?
Давно появилось желание сменить профессию и перейти из автобизнеса в айти. Последние пол года активно взялся за Python, пощупал к нему фреймворки типа Flask, Django, само собой Sql, немного поверстал.
Сделал штук 5 маленьких проектов и выложил на гитхаб. Около месяца назад разместил резюме на хабр карьере и хх, начал откликаться на все, что поход ходит под изучаемый стек для джунов и стажеров. Но отдача откровенно говоря стремится к нулю. Компании просматривают и молчат, только иногда делают отказы. В принципе, я другого особо и не ожидал, поэтому просто продолжаю работать над собой, сейчас прошёл отбор на интенсив для вэб-разработчиков внутри одной компании.
Но, неделю назад мне позвонили и предложили пройти собеседование. Далее выяснилось, что это вакансия разработчик Dwh. Стек: оракл, террадата и язык SAS. На этом собеседовании я решал задачи по Sql и откровенно говоря, я думал, что завалил его. А спустя неделю меня пригласили на второй этап.
А теперь собственно вопрос, есть ли тут разработчики Dwh? Подскажите насколько актуальный такой стек, в частности SAS? Есть ли явные отличия в работе разработчика Dwh и разработчика Etl, т.к часто вижу эти вакансии в одной? Куда можно далее расти, если войти через эту специализацию? Есть ли смысл начать здесь, а потом плавно перейти в дата-инженеринг? Да и в целом расскажите о свой работе, пожалуйста.
P. S. Возможно пикабу не самое подходящее место для таких вопросов, и есть форумы. Но здесь самая живая аудитория.
P. P. S. Уже гуглил об этом, но хотелось бы мнения живых людей.
Без рейтинга. Коммент для минусов внутри. Спасибо.
Расчет стоммости базы данных
Доброго времени суток!
Работаю в большой компании на должности совсем не связанной с программированием, но образование АСУшника наличествует. Для облегчения своей работы создал множество инструментов из доступных в лицензии: vba, access и sql сервера. Это идёт в параллель с моей основной работой, делается по мере необходимости и не оплачивается отдельно)
На днях поступил запрос на создание базы типа «Рабочее место инженера по охране труда» и организацией складского учёта средств индивидуальной защиты (приход, расход, печать ведомостей и тд). Объём не маленький и разрабатывать планирую на выходных.
Незадача в том, что я мало осведомлён о текущих ценах на рынке и не могу даже «прикинуть» стоимость. Можете помочь с оценкой? В общих чертах или от чего оттолкнуться.
Рестораторы и автоматизация
2016 год. Дорогой ресторан на крыше в центре Москвы
Обсуждаем с управляющим результаты внедренного чат-бота для обучения персонала. Рестораторы довольны
Прикидываю куда тут у них можно впилить какой-нибудь ИТ сервис
- А как у вас бронирование организовано?
- По телефону. Хостес всех в книгу записывает - какой столик и на какую дату
- А из книги потом данные в какую-то базу переносятся?
- А зачем?
Далее душещипательный рассказ, что были тут ребята, которые wifi настроили. Так они втихую базу по клиентам собрали и в итоге рестораторам же предложили ее купить
Рестораторы расстроились и наверное поняли, что с этими мутными IT'шниками лучше не связываться. Old school style надежнее и амбарная книга не подведет
Послушал эту историю. Посмотрел в печальные глаза ресторатора. Понял, что креатив про возможные партнерки и разные активации клиентской базы можно даже не разгонять
Ибо ИТ - это боль
Только дефолтная связка российского кабака: 1С и R-Keeper - софт с терминалом, который вы точно видели в разных кофейнях и ресторанах. По факту - стандарт индустрии, потому что большинство официантов привыкли к его интерфейсу
"Данные - это новая нефть" - это не про них
Чат-бота то продали, потому что это телеграм и ничего внедрять и интегрировать не надо.
Это было еще до времен эпидемии яндекс-еды и натиска желтых курток
------------------------------------------------------------------
Базы данных - почему бизнес их боится / избегает
Раньше странно было наблюдать, почему при автоматизации бизнес процессов заказчики боятся баз данных
Цепляние за эксель у многих происходит до последнего
Вроде бы уже все, можно отпустить и двигаться дальше. Но нет. Давайте лучше эксель
Потом понял, что они даже по своему правы
Эксель для них это последний бастион, где они еще удерживают ситуацию под контролем. Можно залезть ручками в файл, настроить фильтры, поковыряться. Если надо, то что-то подправить в формулах и связях между таблицами
Переход к базе данных это следующий уровень сложности, знаний для контроля над которым просто нет
Тут они уже нутром понимают, что обратной дороги не будет. Придётся зависеть от этих мутных ИТ-шников, с их sql запросами и прочей магией
А главное - не понятно где данные и как понять, что они защищены
В экселе - все понятно, вот файл, в нем закладки с табличками
А база данных это где?
Еще хорошо если на локальном сервере. По крайне мере может покажут стационарный комп с мигающими лампочками. В мозгах может появится успокаивающая ассоциация, что этот ящик и есть база данных. Тогда его можно в охраняемую комнату запереть и спать спокойно.
А если база данных в "облаке"?
В газетах вон постоянно пишут про хакеров и как из облаков данные утекают
Нет, нам такой прогресс не нужен. Лучше эксель
Тут все надежно, проверено мудростью предков, и есть панацея от всех проблем: ctrl+alt+delete
Панамский офшорный скандал + графовая база данных
История давняя, из 2016 года. Но показательная в плане цифровой трансформации
В рамках борьбы за бабло в мировых закромах под удар попали разные офшорные юрисдикции. Был такой яркий скандал с Panama Papers, когда в сеть слили 11.5 миллионов документов по более чем 214 тыс. офшорным компаниям
Традиционными методами с таким объемом бумаги можно было бы разбираться долго и весьма нудно. Собственно весь этот офшорный цирк и затевается с целью спрятать следы финансовых транзакций
Поэтому для распутывания связей и поиска смысла обычно нужно детективное упорство налоговиков или спецслужб. Но современные информационные технологии делают мир прозрачней, даже быстрее чем нам возможно того хотелось
Журналисты взяли open-source графовую базу данных Neo4j и внесли туда данные по фрагментам связей, которые были обнаружены в документах. Примерно так:
В итоге, с помощью встроенного языка запросов (Cypher ), изучать взаимосвязи между разными точками графа стало легко, быстро, а главное наглядно
Например, так выглядит запрос - самый короткий путь от королевы UK до Рекса Англии (на тот момент глава ExxonMobil):
MATCH p=shortestPath((rex:Officer)-[*]-(queen:Officer))
WHERE rex.name = "Tillerson - Rex" AND queen.name = "The Duchy of Lancaster"
RETURN p
Результат запроса - это единственный кратчайший путь, соединяющий королеву Англии и Рекса Тиллерсона
Путь проходит через несколько офшоров и должностных лиц, связанных с этими компаниями
Если мы немного скорректируем наш запрос, чтобы включить в него все кратчайшие пути, мы увидим, что несколько сотрудников на нашем пути имеют связи со многими другими компаниями
MATCH p=allShortestPaths((rex:Officer)-[*]-(queen:Officer))
WHERE rex.name = "Tillerson - Rex" AND queen.name = "The Duchy of Lancaster"
RETURN p
Офшорная индустрия изначально строилась в том числе и на мифе об анонимности и "полной тайне вкладов". А тут такая эксгумация мировой закулисы на обозрение базарной публики
После такого желающих нести честно украденное бабло в эти островные конторы резко поубавилось
Олдскульные офшорные адвокаты и юристы, ведущие привычно учет в своих гросбухах и экселях, скорее всего так и не поняли, что произошло и с какой скоростью
Но все таки со временем пришлось признать, что все таки король то - голый)
Как подготовить машину к долгой поездке
Взять с собой побольше вкусняшек, запасное колесо и знак аварийной остановки. А что сделать еще — посмотрите в нашем чек-листе. Бонусом — маршруты для отдыха, которые можно проехать даже в плохую погоду.