Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Бесплатная браузерная игра «Слаймы Атакуют: Головоломка!» в жанре головоломка. Подходит для мальчиков и девочек, доступна без регистрации, на русском языке

Слаймы Атакуют: Головоломка!

Казуальные, Головоломки, Аркады

Играть

Топ прошлой недели

  • Animalrescueed Animalrescueed 54 поста
  • paranoidLynx paranoidLynx 11 постов
  • AlexKud AlexKud 35 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
0 просмотренных постов скрыто
5
Igorek1965
Igorek1965
2 дня назад

Пожар, стеревший государство: как Южная Корея потеряла 858 терабайт данных из-за халатности⁠⁠

  1. Пожар в дата-центре в Тэджоне 26 сентября 2025 года привел к потере 858 терабайт государственных данных Южной Кореи. Во время работ по замене аккумуляторов в одном из зданий Национальной информационной службы (NIRS) произошло возгорание литий-ионной батареи.

  2. Наибольший ущерб был нанесен облачной системе хранения G-Drive, используемой государственными служащими с 2018 года для хранения официальных документов. У системы не было внешнего резервного копирования.

  3. Потеря данных затронула 125 тысяч государственных служащих, было выведено из строя около 647 государственных систем, в том числе электронная почта, порталы госуслуг, онлайн-почта, система идентификации граждан, а также службы экстренной помощи.

  4. Представители власти признали, что отсутствие резервных систем было проявлением халатности. Выяснилось, что финансирование на создание резервных копий не выделялось на протяжении 13 лет, несмотря на смену правительств.

  5. Затрагивается также версия, что отсутствие резервного копирования было намеренным "механизмом самоуничтожения", позволяющим "обнулить историю" и уничтожить компромат в случае смены власти.

  6. В результате скандала 3 октября 2025 года один из высокопоставленных чиновников покончил жизнь самоубийством, а несколько человек были арестованы по подозрению в преступной халатности.

  7. 15 октября 2022 года в дата-центре SK C&C произошел пожар, который привел к сбою сервисов KakaoTalk, Kakao Pay и Naver. Этот случай также был вызван возгоранием аккумуляторов и выявил уязвимость инфраструктуры, но не привел к потере такого объема данных, как инцидент 2025 года.

  8. В октябре 2025 года Южная Корея столкнулась с киберугрозой и была вынуждена повысить уровень кибербезопасности из-за опасений, что хакеры могут воспользоваться сбоем.

  9. Инцидент 2025 года стал напоминанием о важности резервного копирования данных, даже для крупных организаций и правительств.

Показать полностью
Южная Корея Резервное копирование Облака Облачное хранилище Сервер Большие данные Данные удалены Текст
6
6
DmitryRomanoff
DmitryRomanoff
8 дней назад
Авторские истории
Серия Нексус

Искусство самоконтроля или места, где живёт тишина⁠⁠

Предыдущие главы книги "Нексус":

  • Глава 27. Мозговой штурм

  • Глава 28. Случайно не случайная встреча

  • Глава 29. Недовольные инвесторы дают немного времени

Пол стоял в своём кабинете и смотрел в окно. «Как же всё навалилось», — думал он. Непредвиденное увеличение расходов, задержки с возведением нового дата-центра, постоянные проблемы с персоналом. «Я нанял управляющего и плачу ему за решение всех этих проблем, но такое чувство, что всё приходится решать самостоятельно. Это изматывает, чертовски изматывает», — подумал он, закрыл окна кабинета, позвонил на ресепшен, отдал распоряжение, чтобы его не беспокоили, запер дверь на ключ, включил музыку, закрыл глаза и расслабился. Тут же в сознании появился Шаолинь, окутанный дымкой.

Пол шагал по гравийной дорожке сада, сжимая в кармане телефон. Экран мигал уведомлениями о котировках. «Почему я согласился на эту авантюру?» — бормотал он, вспоминая слова отца: «Найди мастера. Он обучит тебя тому, чему не учат в школе».

Монах сидел у пруда, наблюдая за карпами. Его поза напоминала неподвижный камень, готовый в любой миг стать бурным потоком.

— Ты опоздал на семь минут, — сказал мастер, не оборачиваясь. — Но это неважно. Важно то, что ты до сих пор торопишься.

Он подал Полу бамбуковый ковшик:

— Наполни его из водопада.

Пол подставил ковш под струю. Вода выбила ковш из рук.

— Почему не получается? — взорвался он.

— Потому что ты борешься, — усмехнулся мастер. — Дай воде войти в ритм.

Только на пятый раз, замедлив дыхание, Пол уловил момент и наполнил ковш.

— Мусаси писал: «Побеждает тот, кто сливается с ритмом противника, чтобы нарушить его».

Пол открыл глаза.

— В бизнесе есть моменты, когда надо быть камнем, а когда лучше быть водой. Всё рушится? Нужно не бежать, а замедлиться. Если видишь хаос вокруг, значит тебя захватил ритм, который ты не понял.

Пол открыл деловую почту, прошёлся по письмам, нажал «отправить» на последнем письме и замер. Экран монитора, мерцающий цифрами, внезапно потерял резкость. Звуки клавиатуры, смешки коллег и гул кондиционеров сплелись в монотонный звук, как будто кто-то вывернув регулятор времени наизнанку. Его рука, всё ещё сжимающая мышку, онемела.

Лифт, улица, толпа — всё двигалось рывками, как в старом фильме. Он шёл, не чувствуя асфальта под ногами. Ритм города, обычно давящий, теперь казался абсурдным. Люди вокруг метались, как муравьи. Он медленно дошёл до парка, который встретил его тишиной. «Двадцать четыре формы Тай-чи», — всплыло в памяти обрывком из разговора: «Это не просто набор упражнений, а символ гармонии души и тела через познание ритма».

Стопы прилипли к земле, колени согнулись, словно под тяжестью невидимого плаща. Ладони раскрылись вверх, принимая вес воздуха, дыхание замедлилось. Мир сузился до микроскопических ощущений. Руки плавно описали полукруг. Пол представил, будто толкает воду, но не ладонями, а костями. Медленнее, ещё медленнее. Мышцы дрожали от непривычки. Казалось, он начал чувствовать каждый атом своего тела. Шелест листвы слился с шумом в ушах. Руки сомкнулись перед грудью, пальцы находились в миллиметрах друг от друга. Пространство между ними пульсировало.

Когда он закончил упражнение и руки опустились вдоль тела, он вдруг услышал город. Сирены, смех детей, звон велосипедного звонка — всё встроилось в единый узор, как ноты. Он присел на скамейку, прикрыл глаза и в сознании тут же всплыл мастер Линь Шэн Лун, у которого Пол тихо спросил:

— Что такое пустота?

Мастер остановился у низкого стола, где стояла черная чаша для чая. Её гладкие стенки отражали пламя свечи, как тёмное зеркало.

— Ты видишь эту чашу? — спросил он, не глядя на Пола. — Она ценна не материалом, а пустотой внутри. Только благодаря ей, она может быть наполнена.

Мастер поднял чашу и резко выплеснул чай в жаровню. Пар поднялся к потолку.

— Теперь она пуста, но разве стала бесполезной?

Пол пожал плечами:

— Её можно снова наполнить.

— Нет, — Линь Шен Лун повернул чашу вверх дном. — Теперь её пустота стала невидимой. Ты, как и многие другие, путаешь пустоту с отсутствием. Пустота — это потенциал, как небо, которое вмещает солнце и шторм, не становясь ими.

Сосны гнулись от ветра. Мастер взял деревянный меч и принял стойку.

— В бою, если ум забит мыслями, то ты слеп. Пустота — это не слабость, а готовность.

Он взмахнул мечом так, что лезвие зависло в воздухе, словно разделяя время на «до» и «после».

— Видишь? Меч остановился, но импульс продолжается. То, что исчезло, всё ещё меняет мир.

Пол попробовал повторить. Его удар был резким, но после движения тело будто обрубалось.

— Ты заканчиваешь удар, не оставляя места для следующего, — поправил его Линь. — Пустота это мост между действиями. Пустота это не отсутствие, — Это пространство, где рождаются решения. Как зимнее поле кажется мёртвым, но под снегом зреет новый урожай.

Пол открыл глаза. В кармане жужжал телефон. Надо было идти в офис. Он лёгким движением руки залез в карман и отключил его. Тут же снова закрыл глаза и перед ним появился мастер.

Линь Шэн Лун ждал его у ворот, одетый в простую серую робу. Его лицо напоминало отражение в замёрзшем озере — безмятежное, но глубинное.

— Ты принёс с собой бурю, — сказал мастер, указывая на грудь Пола. — Послушай.

Тишина. Через секунду Пол снова подумал о том, что надо посмотреть уведомления в телефоне…

В чайном домике мастер подвесил к потолку бронзовый колокол, но не ударил в него.

— Тишина — это не когда нет звука, а когда звук становится частью тебя.

Пол закрыл глаза, ожидая чего-то. Ничего. Лишь собственное дыхание.

— Ты ждёшь, — усмехнулся Лун. — А настоящая тишина — это когда ожидание растворяется.

Мастер коснулся колокола пальцем. Звук родился не ударом, а вибрацией воздуха — тонкой, как паутина. Пол вздрогнул.

— Сегодня ты не произнесёшь ни слова, — объявил Лун, ведя его к ручью. — И не подумаешь.

Пол закатил глаза.

— Это невозможно.

Мастер продолжил:

— Мысли это крик обезьян в клетке, а тишина это ключ.

Они сели на мокрые камни. Лун опустил руку в воду, заставив поток обтекать ладонь. Пол повторил. Холод обжёг кожу, но через минуту пальцы онемели.

— Ты снова говоришь внутри, — вздохнул Лун. — Слушай ручей. Он не думает о том, куда течёт.

Измученный Пол шёл за мастером через бамбуковую рощу. Внезапно Лун остановился:

— Слышишь?

Тишина. Чем дольше Пол вслушивался, тем больше звуков возникало:

— Шелест листьев…

— Нет. Глубже.

— Жужжание насекомых…

— Ещё.

Пол стиснул веки и услышал бит. Это был сигнал его собственного сердца.

— Между ударами есть пауза, — прошептал Лун. — Вот где живёт тишина.

Мастер вывел его на скалу над долиной.

— Совы охотятся в тишине не потому, что боятся шума, а потому, что каждый звук раскрывает их.

Пол стоял, чувствуя, как ветер проникает сквозь одежду. Городские огни мерцали вдали как падающие звезды.

— Твои планы проваливаются не из-за плохих чисел, — сказал Лун. — А из-за шума в голове.

Пол хотел возразить, но вспомнил обет молчания. Вместо слов он кивнул.

Возвращаясь в храм, Пол споткнулся. Мастер подхватил его за локоть:

— Видишь? Когда ум кричит, тело слепнет.

Пол открыл глаза и попытался поймать паузу между сердцебиениями. Сначала у него ничего не получалось, но потом в ней возникла микроскопическая щель, в которой не было страха перед завтрашним днём или сожалений о прошлом.

Читать книгу "Нексус" полностью >>

(Спасибо большое за лайки и комментарии, которые помогают продвигать книгу!)

Показать полностью
[моё] IT Продолжение следует Финансист Финансы Финансовая грамотность Самиздат Инвестиции Хедж-фонд Деньги Богатство Гений Развитие личности Хакеры Длиннопост Большие данные Уся Боевые искусства Текст
0
Блог компании
Finder
Finder
11 дней назад

ТОП-16 курсов Data Engineering: онлайн-обучение на инженера данных бесплатно и платно⁠⁠

Один из перспективных направлений обучения в IT сейчас — Data Engineer курсы. Эта профессия связана с обработкой big data, а также созданием и поддержкой хранилищ данных и их инфраструктуры. А работать по ней можно как в проектах data science, так и в аналитике. Освоить специальность смогут все со знанием SQL, навыками Python и опытом решения практических задач в программировании. А Data Engineering курсы уже позволят изучить технологии big data и научат применять инструменты для их анализа и обработки.

Я рассмотрела не один десяток таких программ и собрала список из 16 лучших вариантов. В первой части обзора будет краткое и подробное описание ТОП-10, а во второй — список еще 6 неплохих предложениях. Также для некоторых курсов я нашла дополнительные эксклюзивные скидки, акции и промокоды.

ТОП-10 лучших курсов Data Engineer в 2025 году

  1. Дата-инженер от Нетологии — курс от специалистов Яндекса и Сбербанка, после которого в портфолио появятся сразу 6 готовых проектов.

  2. Профессия Data Engineer от Skillbox — программа с вечным доступом, в формате для гуманитариев и с разными дополнительными курсами в подарок.

  3. Инженерия данных от Нетологии и НИУ ВШЭ — направление для специалистов, уже получивших высшее образование в любой математической области.

  4. Инженер данных с нуля от Яндекс Практикума — программа профессиональной переподготовки с поддержкой наставников и free-доступом к Yandex GPT.

  5. Инженер данных от Хекслета — курс со стажировкой на реальных проектах, 80% практики и карьерным сопровождением после окончания учебы.

  6. Инженер данных от Karpov.Courses — еще один курс с помощью в устройстве на работу, который даже включает в себя симуляторы собеседований.

  7. Data Engineer от Otus — на программе вебинары всегда проходят в прямом эфире, а всем студентам дарят стартовый курс по Python.

  8. Data-инженер от Слёрм — курс с бесплатным доступом на 3 дня, в течение которых студенты успевают выполнить собственный реальный проект.

  9. Профессиональная переподготовка Инженер данных от АПОК — несмотря на свое название, проходит «с нуля» и наличия профессионального опыта не требует.

  10. Инженер больших данных (Big Data Engineer) от Специалист.ru — комплексная учебная программа из 11 отдельных курсов и с гибким графиком обучения.

Онлайн-курсы Data Engineer

1. Дата-инженер | Нетология

Используйте промокод kursfinder, чтобы получить скидку 7%

Получить скидку >>>

Обучение Data Engineer с free-доступом к Yandex Cloud, в рамках которого студенты учат особенности проектирования хранилищ данных, а также узнают правила выбора DWH на основе конкретных задач и бюджетов бизнеса. Также на курсе проходят разные процессы обработки данных, обучаются работе со Spark SQL, DataFrame и т. д. И, что немаловажно, изучают, как эффективнее презентовать важные для компании данные, и получать отдачу.

Кроме того, участники курса выполняют шесть проектов для своего личного портфолио и учатся трансформации в Pentaho. А также разрабатывают запросы SQL под аналитические задачи и не только запускают базу данных, но и наполняют ее с помощью ETL-процессов.

  • Стоимость: от 4 083 руб. в месяц

  • Длительность: от 1 года

  • Формат обучения: вебинары, записи лекций, практические работы, задания на дом

  • Сертификат: есть

Кому подойдет: и начинающим, и опытным специалистам (есть 3 уровня сложности).

Преимущества:

  • гибкий график обучения и бесплатный доступ к Yandex Cloud в процессе обучения, плюс постоянная поддержка кураторов в чате;

  • шанс учиться у преподавателей с большим профессиональным опытом — среди них есть бизнес-архитекторы и аналитики, специалисты Сбербанка, Яндекса и др.;

  • опция возврата денег в том случае, если курс по каким-то причинам не подойдет, а также возможность оформить за обучение бонусный вычет;

  • бонусные курсы по облачной инфраструктуре, Java, визуализации и английскому — в подарок каждому участнику;

  • митапы с экспертами и HR, а также общая практическая направленность обучения и помощь в подготовке к трудоустройству (но не само трудоустройство).

Недостатки:

  • отсутствие подробного разбора домашних заданий — из-за этого может тратиться много времени на самостоятельный поиск дополнительной информации;

  • часть лекция была записана несколько лет назад, хотя IT-рынок уже изменился.

Программа обучения:

  • изучение основ SQL и получения больших данных, проектирование DWH;

  • знакомство с языком Python для анализа данных и Tableau для их визуализации;

  • обучение профессиональной работе с Data Lake & Hadoop;

  • получение навыков работы с потоковыми данными;

  • подробное ознакомление с облачными технологиями в работе с big data.

Ознакомиться с полной программой >>>


2. Профессия Data Engineer | Skillbox

Используйте промокод kursfinder, чтобы получить скидку 50%

Применить промокод>>>

Комплексное обучение Data Engineering позволяет пройти путь от первого шага в области анализа данных до уровня Junior. Причем учиться можно без привязки времени, а все обучающие материалы сохраняются у участников курса в вечном доступе. В процессе обучения уделяется много внимания навыкам программирования на Python, SQL и работе с технологиями big data. А практические занятия строятся на реальных задачах из бизнеса.

Также пользователи учатся применять инструменты для построения Data Lake, и по итогу получают сертификат, с которым могут претендовать на достойные рабочие места. Кроме этого, курс был обновлен в 2025 году, и соответствует современным требованиям индустрии.

  • Стоимость: от 5 848 руб. в месяц

  • Длительность: 9 месяцев

  • Формат обучения: записи лекций, задания на дом, проекты, онлайн-тренажеры

  • Сертификат: есть

Кому подойдет: новичкам и уже опытным программистам или аналитикам.

Преимущества:

  • возможность учиться даже гуманитариям — все темы курса объясняются «с нуля» и максимально подробно;

  • free-доступ к Yandex Cloud в течение всего срока обучения, а также 3 онлайн-курса в подарок плюс шанс на получение дополнительной скидки;

  • добавление в портфолио 3 проектов (в случае хороших успехов в учебе) и помощь в трудоустройстве, включая крупнейшие IT-компании;

  • постоянная поддержка кураторов, а также общение в чате с другими участниками курса — для создания мотивирующей атмосферы;

  • обновленные модули по машинному обучению и аналитике, а также актуальность информации как таковая — все темы были доработаны или изменены.

Недостатки:

  • блоки не синхронизированы, что может приводить к повторениям информации; 

  • нехватка подсказок в некоторых учебных заданиях — из-за этого приходится искать много информации самостоятельно, на что не всегда есть время;

  • не всегда полное раскрытие темы — недостаток теории для выполнения практики.

Программа обучения:

  • введение в само направление Data Science — базовое и более продвинутое;

  • изучение основ статистики, теории вероятностей и математики для Data Science;

  • прохождение специализации по машинному обучению;

  • еще одна специализация, уже по анализу данных;

  • подтверждение навыков через выполнение финального проекта.

Ознакомиться с полной программой >>>


3. Инженерия данных | Нетология и НИУ ВШЭ

Используйте промокод kursfinder, чтобы получить скидку 7%

Получить скидку >>>

Еще одна программа по профессии инженер данных, обучение в которой дает серьезный объем знаний и необходимую для успешной реализации в специальности квалификацию. В ходе курса пользователи изучают сразу 3 актуальных языка программирования, учатся владеть инструментами разработки и проводить аналитику больших баз данных, а также автоматизировать эти процессы и др. По окончании получают диплом с приложением на английском.

Более того, если выбрать это дистанционное обучение в рамках магистратуры, то можно получить отсрочку от армии. К тому же, организаторы предоставляют всем возможность сначала ознакомиться с курсом бесплатно — чтобы заранее понять специфику профессии.

  • Стоимость: 200 000 руб. за семестр

  • Длительность: 2 года

  • Формат обучения: видеолекции, онлайн-семинары, практические занятия на дом

  • Сертификат: есть

Кому подойдет: выпускникам технических и естественно-научных факультетов.

Преимущества:

  • онлайн-формат с вебинарами, хакатонами и практикой — это позволяет соединять обучение на курсе с работой (или учиться в ВШЭ из любой точки страны); 

  • преподавательский состав — практикующие специалисты, которые делятся своим реальным опытом и говорят о действительно актуальных сегодня задачах;

  • поддержка от кураторов и активная обратная связь на протяжении всего периода обучения — по любым вопросам, связанным с учебным процессом;

  • акцент на практику — участники курса работают с настоящими данными и только теми задачами, которые предлагают компании-партнеры;

  • обязательные стажировки в крупных компаниях и помощь в трудоустройстве — в рамках программы даже есть спецкурс по успешному выходу на рынок труда.

Недостатки:

  • достаточно высокая стоимость обучения — 2 года по 200 тыс. за семестр;

  • необходимость иметь диплом бакалавра по любой технической специальности — со средне-специальным или гуманитарным образованием на курс не принимают;

  • сложные задания — иногда для них нужна та информация, что не было в лекции.

Программа обучения:

  • освоение работы с такими важными для инженера данных инструментами как SQL, PostgreSQL, Airflow, Yandex Cloud, ClickHouse, CI/CD и др.;

  • обучение более глубокому владению языками Python, SQL и Java, а также сбору big data, трансформации и обработке данных и т. д.;

  • знакомство с главными рабочими задачами дата-инженера и методами их решения;

  • семинары с подготовкой проектов по программной и системной инженерии;

  • участие в хакатоне с демонстрацией навыков командного взаимодействия.

Ознакомиться с полной программой >>>


4. Инженер данных с нуля | Яндекс Практикум

Купите курс с выгодой до 20% при оплате сразу

Купить курс>>>

Программа для тех, кто понимает, что пройти Data Engineering курс бесплатно и получить при этом необходимый для работы практический опыт не получится. И поэтому выбирает изучить навыки программирования на Python и SQL, а также работу с big data, Data Lake и хранилищами в рамках полноценной программы обучения — для всех желающих, включая гуманитариев. Она предлагает интенсивное погружение в темы и решение реальных задач.

Курс ориентирован на практику и применение современных инструментов, включая Spark, Airflow и др. А самые сложные модули успешно проходятся с помощью кураторов. Кроме того, по завершению учебы все участники получают поддержку при устройстве на работу.

  • Стоимость: от 6 899 руб. в месяц

  • Длительность: 11 месяцев

  • Формат обучения: видеолекции в записи, онлайн-тренажеры, воркшопы

  • Сертификат: есть

Кому подойдет: всем, кто хочет освоить новую профессию без опыта в IT.

Преимущества:

  • можно дойти до уровня Junior Data Scientist со статуса абсолютного новичка, а также получать помощь от карьерного центра компании;

  • доступ к учебным материалам в любое время и поддержка экспертов и кураторов в течение всего срока обучения;

  • выполнение 10+ проектов, которые можно добавить в персональное портфолио — с ним диплом государственного образца обычно оценивается лучше; 

  • ставка не на теорию, а на практическую работу — обучение на курсе выстраивается по так называемой спринтовой модели;

  • изучение самых востребованных сегодня технологий и периодически обновляемая программа — для достижения максимальной актуальности.

Недостатки:

  • по отзывам, практических воркшопов меньше, чем этого бы хотелось студентам;

  • часть заданий похожи на работу тестировщика — поиск и отлов багов, ошибок и др., что тоже полезно для студентов, но не входит в саму специальность;

  • материалов лекций мало для выполнения заданий на дом без поиска информации.

Программа обучения:

  • базовое и углубленное изучения языка Python, инструментов разработчика, работы с HTTP-запросами;

  • знакомство с алгоритмами и структурами данных, основами SQL и PostgreSQL, а также продвинутым SQL;

  • проектирование хранилища данных и работа с их витринами, проверка качества и интеграция данных сразу из нескольких источников;

  • создание аналитической базы и Data Lake, реализация потоковой обработки;

  • работа с облачными технологиями и подготовка выпускного проекта.

Ознакомиться с полной программой >>>


5. Инженер данных | Хекслет

Программа, которая попала в лучшие курсы по Data Engineer потому, что делает ставку на практику — на решение реальных рабочих задач и проекты в ней отведено почти 80%. При этом участники сразу получают доступ к коммерческим, а не умозрительным IT-проектам, и учатся работать в командах. Однако в процессе это не так пугающе, как кажется, потому что студентов сопровождают наставники, которые подробно разбирают с ними код, и т. д.

Помимо этого, обучение идет без жестких дедлайнов, а учебные материалы сохраняются у пользователей навсегда. Плюс отдельное внимание уделяется трудоустройству и будущим собеседованиям, включая их имитацию и отработку самых правильных ответов и реакций.

  • Стоимость: от 5 651 руб. в месяц

  • Длительность: 10 месяцев

  • Формат обучения: видеоуроки, онлайн-тренажеры, домашние задания, тесты

  • Сертификат: есть

Кому подойдет: IT-специалистам без опыта и всем, кто хочет перейти в дата-инжиниринг.

Преимущества:

  • отведение на практику 80% всей программы и работа с реальными коммерческими задачами, результаты которых наиболее наглядные и мотивирующие;

  • стажировка с настоящими релизами и поддержка куратора на каждом шаге — в том числе в течение полугода после окончания курса (в процессе поиска работы);

  • наличие бесплатного модуля — для свободного старта и знакомства с форматом еще до внесения оплаты;

  • помощь в составлении резюме и отработка поведения на будущих собеседованиях — для более успешного их прохождения и возможности выбирать компании;

  • гарантия возврата денег за обучение — если получить должность дата-инженера по каким-либо причинам не получится.

Недостатки:

  • сложность материала — если нет никаких базовых познаний в программировании;

  • отсутствие точных ответов от куратора — они дают скорее направление для поиска;

  • тестовая часть — по отзывам студентам, тесты не помогают усвоению материала, и их прохождение нужно только «для галочки».

Программа обучения:

  • введение в основы Data Engineering, языка Python и программирования;

  • знакомство с инструментами разработки и функциями профессионального Python;

  • освоение навыков работы с базами данных и API, а также администрирования;

  • проработка Soft Skills и прохождение отдельного карьерного модуля;

  • стажировка в крупных партнерских компаниях и выполнение выпускного проекта.

Ознакомиться с полной программой >>>


6. Инженер данных | Karpov.Courses

Курс для тех, кому хочется освоить эту профессию с нуля и уверенно приступить к работе сразу после окончания учебы. В ходе программы студенты выполняют более 230 заданий, работают над практическими кейсами и получают максимально приближенный к реалиям опыт. Для этого они развивают навыки программирования, построения хранилищ данных, а также использования SQL, Python, Spark и других инструментов обработки информации.

Причем процесс обучения разработан самой школой и является авторским, а весь учебный материал остается доступным для учеников даже после выпуска. Также они проходят ряд тестовых заданий и формируют профессиональное портфолио из выполненных проектов.

  • Стоимость: 80 750 руб.

  • Длительность: 6 месяцев

  • Формат обучения: видеоуроки, текстовые конспекты, симуляторы, задания на дом

  • Сертификат: есть

Кому подойдет: всем новичкам в IT, а также начинающим дата-инженерам без опыта.

Преимущества:

  • множество практических и тестовых заданий, а также наличие симуляторов для тренировок собеседований;

  • персональная обратная связь от кураторов проекта плюс приоритетный доступ к вакансиям партнерских компаний;

  • создание полноценного профессионального портфолио Junior Data Engineer — с проверкой и рекомендациями от экспертов;

  • прохождение курса на собственной платформе компании — с комментариями по каждому домашнему заданию и доступом к материалам в любое время;

  • гарантия возврата денег в течение 2 недель после старта обучения — если станет ясно, что программа (или сама профессия) не подходит.

Недостатки:

  • чересчур академическая подача материала, которая устраивает не всех студентов;

  • неравномерное соотношение теоретической и практической части в ряде модулей — это создает трудности в усвоении программы;

  • задержки при проверке домашних заданий — из-за большого потока пользователей.

Программа обучения:

  • изучение основ обработки данных — от архитектур систем и до выбора нужных для решения конкретных задач инструментов;

  • работа с базами данных — построение хранилищ, оптимизация запросов и т. д.;

  • создание пайплайнов — начиная со сбора и трансформации данных и заканчивая их правильной загрузкой;

  • приобретение навыков работы с облачными решениями и обучение развертыванию инфраструктуры;

  • разработка идеи финального проекта, его реализация и презентация.

Ознакомиться с полной программой >>>


7. Data Engineer | Otus

Очередная программа, попавшая в топовые курсы по Data Engineering из-за значительного количества практики. Она проходит в Yandex Cloud, где пользователи поэтапно осваивают главные профессиональные инструменты и основы работы с хранилищем данных. Также в процессе уделяется внимание потоковому и пакетному режиму обработки, а в завершении обучения участники могут сами проектировать пайплайны, работать с Apache Spark и т. д.

Также студенты курса получают бесплатный доступ к целому ряду ресурсам и находятся в активном диалоге с преподавателями и кураторами. Отдельно нужно отметить комьюнити платформы — оно большое, быстро развивается и поддерживает всех новых пользователей.

  • Стоимость: 114 000 руб.

  • Длительность: 5 месяцев

  • Формат обучения: вебинары, текстовые материалы, практические задания на дом

  • Сертификат: есть

Кому подойдет: начинающим дата-инженерам, аналитикам и другим IT-специалистам.

Преимущества:

  • учеба в любое удобное время (все лекции можно смотреть в записи) и пожизненный доступ к обучающим материалам;

  • вводный курс по Python в подарок, а также практика в Yandex Cloud — для навыков работы с облачными технологиями в целом;

  • поддержка преподавательского состава по любым вопросам, связанным с учебным процессом, а также добавление во внутреннее Telegram-сообщество;

  • работа на комфортной и аккредитованной платформе, которая включена в реестр отечественного программного обеспечения;

  • создание профессионального портфолио из реальных коммерческих проектов — на базе задач от компаний-партнеров проекта.

Недостатки:

  • несогласованность в работе преподавателей — они могут повторяться по темам;

  • ошибки в раздаточных материалах — например, там встречается устаревший код.

Программа обучения:

  • знакомство с основами дата-инжиниринга и архитектурой систем данных;

  • углубленное изучение программирования на Python, а также продвинутого SQL;

  • работа с облачными платформами, обработка big data с применением Apache Spark;

  • постройка, оптимизация ETL/ELT, работа с разными СУБД и системами хранения;

  • использование функций Docker, разработка и защита выпускного проекта.

Ознакомиться с полной программой >>>


8. Data-инженер | Слёрм

Курс позволяет освоить профессию дата-инженера от А до Я, начиная с базовых знаний и заканчивая участием в проектах крупных компаний. Причем обучение проходит в комфортном для студентов темпе, и после каждого его модуля они выполняют задания на виртуальных стендах — с подробным разбором их решений экспертами. Цель программы — сформировать у аудитории прикладные навыки применения актуального инструментария.

При этом учащиеся могут использовать не только открытые источники, но и свои данные, а итоговый проект становится частью их портфолио. Программа максимально практична и нацелена на бизнес-задачи, а также регулярно обновляется — вместе с изменениями рынка.

  • Стоимость: от 4 735 руб. в месяц

  • Длительность: 120 часов (без дедлайнов)

  • Формат обучения: видеоуроки, работа на онлайн-стендах, практические задания

  • Сертификат: есть

Кому подойдет: начинающим аналитикам баз данных, другим IT-специалистам без опыта.

Преимущества:

  • ориентация на практику — из 120 часов учебной программы на решение реальных задач бизнеса отводится 88;

  • двухгодичный доступ к материалам курса после его завершения, а также получение постоянной менторской поддержки и разбора заданий от специалистов;

  • возможность учиться без привязки не только к месту, но и ко времени — участники курса могут пройти 120 часов за любое удобное им количество недель или месяцев;

  • гарантия актуальности информации и инструментов — после каждого обновления в программе остаются только действительно нужные в моменте технологии;

  • шанс получить корпоративную скидку и оформить налоговый вычет — что делает стоимость обучения еще более выгодной.

Недостатки:

  • недостаточная проработанность материалов, по мнению ряда пользователей;

  • несмотря на обновления, в части тем так и проскакивают уже устаревшие сведения.

Программа обучения:

  • изучение языка программирования Python и терминала задач Data Engineering;

  • знакомство с Hadoop, распределенными файловыми системами и реляционными базами данных;

  • методология и архитектура хранилищ big data, их процессинг и перекладка;

  • обучение обращению с оркестраторами и шинами данных, потоковой аналитикой;

  • обретение навыка работы с ETL-инструментом, изучение оценки качества данных;

  • разработка, выполнение и защита финального проекта.

Ознакомиться с полной программой >>>


9. Профессиональная переподготовка Инженер данных | АПОК

Курс готовит специалистов по работе с большими объемами данных и позволяет им освоить все необходимые инструменты в достаточно сжатые сроки. Студенты изучают особенности хранилищ big data, способы их обработки и подготовки для ML-инженеров и других отделов и т. д. Таким образом, программа рассчитана на то, чтобы они приобрели фундаментальные навыки работы в дата-инженерии, и быстро нашли работу в этой сфере.

Однако так как это программа профессиональной переподготовки, то для поступления на курс надо уметь уже законченное высшее или средне-специальное образование. И желательно математического плана — точных ограничений по профессиям нет, но это упростит учебу.

  • Стоимость: 29 980 руб.

  • Длительность: 1 месяц (250 часов)

  • Формат обучения: вебинары, текстовые конспекты, онлайн-тесты, задания на дом

  • Сертификат: есть

Кому подойдет: всем, кто хочет поменять свою специальность на работу дата-инженера.

Преимущества:

  • отсутствие четкого расписания — учеба в любое удобное время, а также совмещать обучение с работой;

  • высокое качество учебных материалов — структурированная и понятная подача информации, подкрепление теории практическими примерами и т. д.;

  • активная поддержка студентов — преподаватели и методисты отвечают на вопросы и помогают решать разные вопросы в течение всего срока обучения;

  • возможность оформить оплату обучения в рассрочку, а также получить налоговый вычет за эту сумму;

  • при необходимости готовый диплом о профессиональной переподготовке может быть отправлен выпускнику курса по почте (бесплатно).

Недостатки:

  • технические проблемы с учебной платформы — иногда не сохраняются тесты и др.;

  • недостаток практических заданий — по сравнению с остальными программами;

  • высокая интенсивность — освоить 250 часов в течение месяца может быть сложно, особенно если процесс учебы сочетается с работой.

Программа обучения:

  • введение в само направление Data Science, а также работу с данными и основными инструментами дата-инженера;

  • изучение основ статистики для анализа данных и технологий машинного обучения;

  • знакомство с анализом временных рядов и прогнозированием;

  • работа над реальными бизнес-кейсами и настоящими коммерческими задачами;

  • разработка итогового проекта, создание портфолио, подготовка к собеседованиям.

Ознакомиться с полной программой >>>


10. Инженер больших данных (Big Data Engineer) | Специалист.ru

Комплексный курс включает в себя 11 отдельных модулей обучения. Учащиеся начинают освоение специальности с изучения специализированных инструментов Excel, и потом приступают к формированию SQL-запросов и использованию базовых конструкций Python. После этого стартует обучение построению диаграмм и разнообразных графиков, а также знакомство с тем, каким образом big data можно соединять и переформатировать.

Учиться по программе можно в свободном графике — записи лекций и семинаров доступны в любое время и к ним разрешается возвращаться еще в течение полугода после финала обучения. А другие учебные материалы (не видео) остаются у студентов навсегда.

  • Стоимость: 285 290 руб.

  • Длительность: от 4 месяцев

  • Формат обучения: записи лекций, семинары с преподавателями, занятия на дом

  • Сертификат: есть

Кому подойдет: уже подготовленным специалистам с базовыми знаниями по сетевым ОС.

Преимущества:

  • опытный преподавательский состав — не только практикующие программисты или инженеры, но и доктора наук, а также научные сотрудники РАН;

  • подарок за успешное окончание курса (на практике его получают все пользователи) — 3 бесплатные персональные консультации по пройденным темам;

  • участие в «живых» онлайн-семинарах с преподавателями, в ходе которых можно задавать вопросы и получать разбор своих ошибок;

  • обретение не только теоретических знаний, но и практических навыков в решении стандартных рабочих задач современного дата-инженера;

  • гарантированная помощь в трудоустройстве (вплоть до подбора самых подходящих вакансий) и возможность получить налоговый вычет за внесенную оплату.

Недостатки:

  • бессрочный доступ предоставляется только к некоторым материалам курса;

  • большой объем материала — часть лекций растягивается на 3–4 часа без перерывов, и в отзывах можно найти множество предложений разбивать их на куски.

Программа обучения:

  • изучение основ работы с большими данными и анализа данных на языке SQL;

  • программирование на Python и Java — базовые курсы с дополнениями по теме;

  • знакомство с Apache Kafka для разработчиков и основами Apache Hadoop, а также такими инструментами как MapReduce, Hive, Spark и Cassandra;

  • обучение автоматизации рабочих процессов при помощи Airflow;

  • построение пайплайнов — процессов доставки данных из одного места в другое.

Ознакомиться с полной программой >>>


Еще 6 курсов Data Engineer

Так как сегодня это очень востребованное направление, на перечисленных программах по профессии инженер данных курсы в интернете не кончаются. Более того, в предложениях есть и полностью бесплатные варианты — они прекрасно подойдут для знакомства с темой.

  • Прикладной анализ данных и машинное обучение от Skillfactory — программа для всех, кто хочет получить более фундаментальные знания в сфере анализа больших данных. Техническое образование для поступления на курс не требуется, учиться можно с нуля.

  • Инженер данных от Компьютерной Академии ТОП — на курсе студенты могут получить все необходимые для освоения новой профессии знания и навыки. В частности, их обучают управлению потоками big data, работе с базами, обработке больших объемов данных при помощи Apache Airflow и проектировке архитектуры хранилищ.

  • Симулятор «Инженер данных» от Simulative — интерактивный курс с настоящими бизнес-проектами, который подойдет пользователям, предпочитающим практико-ориентированный подход и желающим получить реальный опыт работы с big data.

  • Big Data Engineer от TopTrening — полноценный курс продолжительностью 1 год, который подходит специалистам, уже работающим в сфере big data или в смежных IT-специальностях.

  • Data Engineer от NewProlab — обучающая программа с упором на практику, причем максимально приближенную к реальной работе дата-инженеров.

  • Data Engineer от МФТИ — бесплатное обучение на инженера данных, состоящее из комплекта материалов от преподавателей крупного российского института. По ним пользователи могут освоить работу с Python и SQL, ознакомиться с особенностями Hadoop и Spark, а также разобраться в Apache Kafka, Hive и Git.


Часто задаваемые вопросы

Чем занимается на работе Data Engineer?

Дата-инженеры занимаются созданием и обновлением инфраструктуры данных, а также поддержанием ее работоспособности. Плюс в их обязанности входит разработка и оптимизация процессов загрузки и трансформации big data и их последующего хранения.

Какие навыки нужны, чтобы стать дата-инженером?

Это навыки программирования (Python, SQL), знание баз данных и инструментов для их обработки (Apache Spark, Hadoop и др.), а также облачных технологий и принципов big data. Однако необязательно знать их заранее – множество курсов обучают этому с нуля.

Какие технологические тренды влияют на Data Engineering?

Прежде всего, это распределенные системы обработки данных и облачные технологии для их хранения и анализа. Плюс нельзя не отметить влияние автоматизации процессов ETL и внедрение машинного обучения для анализа информации: всему этому обучают на курсах.

Как в области Data Engineering можно вырасти?

Для этого надо продолжать обучение новым технологиям и методикам обработки данных, а также не отказываться от участия в профессиональных конференциях, вебинарах и т. п. Еще один путь развития — регулярное прохождение курсов для повышения квалификации.

Если я специалист в бизнес-процессах, что мне даст Data Engineering?

В таком случае учеба в этом направлении поможет создавать более эффективные решения для обработки больших данных. Причем именно такие решения, которые будут подходить потребностям определенного бизнеса и, как следствие, повышать показатели его прибыли.

Если обучение Data Engineer уже было, надо ли учиться сейчас? Или сразу идти работать?

Технологий и тенденции в области инженерии данных и IT-сферы постоянно меняются, и поэтому свои знания все же стоит обновить. Это даст возможность эффективнее работать с большими данными, выбирать оптимальные инструменты и двигаться в карьере дальше.


Чтобы пройти любые Data Engineer курсы успешно, нужно заранее оценить свои навыки и уже имеющийся опыт, выбрать подходящую к ним учебную программу, и подключиться к профессиональным сообществам еще на этапе обучения. Это позволит не только влиться в среду и быстрее найти стажировку, но и не потерять мотивацию. Также важно создавать портфолио из выполненных проектов, которое станет важным дополнением к резюме. А с вакансиями проблемы не будет — из-за стремительной цифровизации компаний профессия инженера данных становится ключевой, и бизнес крайне нуждается в таких специалистах.

Показать полностью 11
Обучение Курсы SQL Python Онлайн-курсы Большие данные База данных Блоги компаний Длиннопост
0
vl182112
vl182112
14 дней назад

Пикабу, на ваш взгляд в моей жизни правда все так плохо?⁠⁠

Что мне в ваших рекламах предлагается только это:

Пикабу, на ваш взгляд в моей жизни правда все так плохо?
Показать полностью 1
Реклама на Пикабу Большие данные Личная информация
2
3
VelStyling
VelStyling
19 дней назад
Серия SQL: знакомство

NULL, Но(у)ль, Неизвестно, Пусто... Что это все такое⁠⁠

NULL — это специальное значение в SQL, которое означает отсутствие данных или неизвестное значение. Важно понимать, что NULL ≠ 0 и NULL ≠ пустая строка (‘’).

А пока подписывайся на мой канал На связи: SQL Там я публикую посты про особенности и нюансы SQL. Этот канал про то, как не бояться баз данных, понимать, что такое JOIN, GROUP BY и почему NULL ≠ 0. Его я веду с нуля подписчиков. И пост про NULL уже ждет тебя! Присоединяйся!

NULL, Но(у)ль, Неизвестно, Пусто... Что это все такое

NULL не равен ничему, даже самому себе. Не является числом, строкой или другим типом данных.

И это надо запомнить при работе с данными.

Все что вы будете сравнивать с NULL будет возвращаться как UNKNOWN.

Для работы с NULL есть специальные операторы.

-- Проверка на NULL

SELECT *

FROM table

WHERE column IS NULL;

-- Проверка на НЕ NULL

SELECT *

FROM table

WHERE column IS NOT NULL;

-- Замена NULL на значение

SELECT COALESCE(column, 'значение_по_умолчанию')

FROM table;

NULL появляется там, где есть необязательные поля для заполнения, при отсутствии связей между сущностями, при ошибках ввода, когда данные неизвесты.

Вообще, понятие NULL появилось в начале 1970-х годов. Разработчики реляционных БД специально создали такое значение для обозначения отсутствия данных. Это было революционным решением, позволившим хранить информацию более гибко.

Математические фокусы с NULL:

  • Любое число + NULL = NULL

  • NULL * 100 = NULL

  • NULL / 2 = NULL

  • Индексы могут работать медленнее при наличии NULL

  • Некоторые типы индексов вообще не поддерживают NULL

  • Агрегатные функции игнорируют NULL по умолчанию

Ну и коротко про то что такое Но(у)ль:
Ноль — это чётко определённое значение:

  • Числовое значение

  • Имеет математический смысл

  • Участвует в вычислениях

  • Равно самому себе

А теперь про пусто:
Пустота — отсутствие содержимого

Пустое значение может быть:

  • Пустой строкой (‘’ или “”)

  • Пустым массивом

  • Пустым объектом

  • Имеет конкретный тип данных

Рекомендации:

  • Используйте NULL для неизвестных данных

  • Применяйте 0 для числовых значений по умолчанию

  • Используйте пустые строки для незаполненных текстовых полей

Заключение

Помните: каждое из этих значений несёт свой смысл. Неправильное использование может привести к:

  • Ошибочным расчётам

  • Некорректной логике

  • Потерям данных

  • Системным ошибкам

А как вы работаете с этими значениями в своих проектах? Поделитесь опытом в комментариях!

Показать полностью 1
[моё] Null База данных Анализ данных Аналитика Аналитик SQL Microsoft Excel Большие данные Самообразование Длиннопост
1
VelStyling
VelStyling
20 дней назад
Серия SQL: знакомство

DELETE в SQL: когда одно слово может стереть ваши данные⁠⁠

DELETE — инструменте, который может как спасти вашу базу данных от хлама, так и превратить её в пустыню за считанные секунды.

DELETE как цифровой пылесос**, который может убрать всё, что вы ему скажете. Только вот вернуть обратно будет ой как непросто!

DELETE в SQL: когда одно слово может стереть ваши данные

А пока подписывайся на мой канал На связи: SQL Там я публикую посты про особенности и нюансы SQL. Этот канал про то, как не бояться баз данных, понимать, что такое JOIN, GROUP BY и почему NULL ≠ 0. Его я веду с нуля подписчиков. Присоединяйся!

Базовый синтаксис:

DELETE FROM таблица
WHERE условие;

Можно использовать EXISTS с подзапросами

DELETE FROM orders

WHERE EXISTS (

SELECT 1

FROM customers

WHERE customers.id = orders.customer_id

AND customers.status = 'deleted' );

Удаляет заказы неактивных клиентов.

Можно использовать JOIN

DELETE o

FROM orders o

INNER JOIN customers c ON o.customer_id = c.id

WHERE c.registration_date < '2020-01-01';

Удаляет заказы клиентов, зарегистрированных до 2020 года.

Как происходит удаление записей?

Физическое удаление в SQL — это не мгновенное стирание данных с диска. Когда вы выполняете DELETE:

  • Система записывает операцию в журнал транзакций

  • Помечает удалённые строки как свободные

  • Физическое место может быть использовано для новых данных

  • Сами данные остаются в файле некоторое время

Формируется основной файл .mdf (или аналогичный). Также информация записывается в журнал транзакций. Сроки хранения удаленных данных зависят от:
- модели восстановления базы данных
- активности базы данных
- настроек резервного копирования
- объема свободного места

Удаленные данные могут храниться до следующего бэкапа или до перезаписи журнала.

Способы восстановления данных после DELETE

  1. Восстановление из резервной копии

    RESTORE DATABASE имя_базы FROM DISK = 'путь_к_бэкапу'

  2. Использование моментальных снимков (Snapshot)

    CREATE DATABASE имя_снимка

    ON (NAME = имя_файла, FILENAME = 'путь_к_файлу')

    AS SNAPSHOT OF исходная_база;

    Восстановление данных из снимка:

    INSERT INTO исходная_таблица

    SELECT * FROM снимок.dbo.таблица

  3. Восстановление через LSN (Log Sequence Number)

    Если есть журналы транзакций:

    BACKUP LOG имя_базы TO DISK = 'путь_к_журналу'

    Поиск удалённых записей:
    SELECT [Current LSN], [Transaction ID]

    FROM fn_dblog(NULL, NULL)

    WHERE Operation = 'LOP_DELETE_ROWS'

  4. Либо использовать специальные посторонние программы для восстановления БД

Чтобы предотвратить потерю данных:

  • Регулярно создавайте резервные копии

  • Используйте транзакции (BEGIN TRANSACTION / ROLLBACK)

  • Тестируйте DELETE-запросы на тестовой базе

  • Применяйте WHERE с осторожностью

  • Настройте политики резервного копирования

DELETE vs TRUNCATE

Многие думают, что TRUNCATE и DELETE — это одно и то же. На самом деле:

  • DELETE удаляет строки по одной и записывает каждую операцию в журнал транзакций

  • TRUNCATE мгновенно очищает таблицу, минуя журнал (кроме некоторых случаев)

При выполнении DELETE:

  • Блокируются только удаляемые строки

  • Другие транзакции могут читать незаблокированные данные

  • В некоторых СУБД возможна эскалация блокировок до уровня таблицы

  • Не затрагивает структуру индексов

  • Индексы остаются в прежнем состоянии

  • Это ускоряет процесс удаления

  • Не сбрасывает счётчики автоинкремента

  • Сохраняет текущее значение последовательности

  • Важно при работе с первичными ключами

  • Активируются триггеры AFTER DELETE

  • Можно отслеживать удалённые строки через виртуальную таблицу deleted

  • Триггеры могут отменить операцию удаления

Чтобы сохранить целостность данных можно использовать ON DELETE CASCADE
Это позволит там, где есть зависимость по внешним ключам произвести удаление зависимых строк.

Показать полностью 1
[моё] SQL Аналитик Аналитика Большие данные Microsoft Excel Анализ данных Эмоциональное выгорание Самообразование База данных Длиннопост
6
0
VelStyling
VelStyling
27 дней назад
Серия SQL: знакомство

INSERT INTO - Простая команда с непростым характером⁠⁠

INSERT — это оператор для добавления новых строк в таблицу.

Классика выглядит так:

INSERT INTO customers (name, age, city)

VALUES ('Оля', 28, 'Москва');

Главные слова:

  • INSERT INTO — куда добавляем,

  • VALUES — что именно добавляем.

INSERT INTO - Простая команда с непростым характером

А пока подписывайся на мой канал На связи: SQL Там я публикую посты про особенности и нюансы SQL. Этот канал про то, как не бояться баз данных, понимать, что такое JOIN, GROUP BY и почему NULL ≠ 0. Его я веду с нуля подписчиков. Присоединяйся!

При вставке значений в таблицу можно выделить одиночную вставку и массовую вставку.
Одиночная - это когда в запросе содержится вставка одной строки, а массовая - нужно вставить больше чем одну строку.

INSERT INTO products (name, price) VALUES ('Яблоки', 100);

INSERT INTO products (name, price) VALUES ('Груши', 120);

-- и так 1000 раз 😅

INSERT INTO products (name, price)

VALUES

('Яблоки', 100),

('Груши', 120),

('Бананы', 150);

Один INSERT на 1000 строк работает быстрее, чем 1000 отдельных запросов, потому что база открывает и закрывает транзакцию только один раз.

Транзакция — это логическая единица работы с базой данных, набор действий (обычно INSERT, UPDATE, DELETE и т. д.), которые выполняются как одно целое.
База гарантирует, что или все действия внутри транзакции будут выполнены, или не выполнится ни одно.

Например:

  • Перевод денег с карты на карту.

    1. Снять деньги с карты А.

    2. Зачислить деньги на карту Б.

Если выполнить только первый шаг, а второй не получится — деньги «пропадут».
Транзакция гарантирует, что либо оба шага выполнятся, либо оба отменятся.

Так вот, даже если мы явно в коде не прописываем начало и окончание транзакции, то наша база автоматически оборачивает наш запрос началом и окончанием транзакции

BEGIN;
INSERT INTO products (name, price) VALUES ('Яблоки', 100);
COMMIT;

BEGIN;
INSERT INTO products (name, price) VALUES ('Груши', 120);
COMMIT;

-- и так 1000 раз 😅

BEGIN;

INSERT INTO products (name, price)

VALUES

('Яблоки', 100),

('Груши', 120),

('Бананы', 150);

COMMIT;

Но при этом вставлять одним запросом млн строк - это плохо. Можно словить блокировку. Поэтому для большого объема вставки - лучше дробить на несколько маленьких частей.

Оптимальный размер батча — подбирается экспериментально. Обычно от 5k до 50k строк за один заход.

При вставке данных в таблицу у нас часто используется уникальный идентификатор строки, часто этот идентификатор является автоинкрементом, т.е. база сама записывает значение в это поле.

CREATE TABLE users (

id SERIAL, -- автоинкремент

name TEXT

);

INSERT INTO users (name) VALUES ('Оля'); -- id = 1

INSERT INTO users (name) VALUES ('Маша'); -- id = 2

Каждый INSERT добавляет новую запись, а автоинкремент гарантирует уникальный идентификатор для этой строки.

  • Без него нужно было бы самому считать, какой следующий номер ставить.

  • Автоинкремент экономит время и предотвращает ошибки.

Но автоинкремент не гарантирует, что значения в поле id будут "последовательными", он гарантирует, что значения в этом поле будут уникальными.

Получается, что при INSERT в поле с автоинкрементом могут быть "дырки".
Это получается, например, в следующих кейсах:
1. отмененная вставка:
- Сделали INSERT, база выделила id = 5.
- Транзакцию откатили (ROLLBACK).
- Id 5 пропал, следующие вставки идут с 6.
2. Удаление строк:
- Если удалить записи, то номера исчезнут, но новые не «подтянутся» к освободившимся.
3. Параллельная вставка:
- Две транзакции одновременно вставляют строки.
- Каждая получает свой id, даже если одна потом откатится → тоже появляются пропуски.

В PostgreSQL номера генерируются через объект SEQUENCE.

Если ты вручную добавил строку с id = 9999, а sequence «застрял» на 5000.
То, когда при следующих попытках осуществить вставку строки БД дойдет до значения 9999 - этот INSERT упадёт с ошибкой: «дубликат ключа». Потому что sequence не обновляется автоматически! Sequence не смотрит на максимальный id в таблице. Он просто отдаёт своё следующее число.

Решение может быть:

ALTER SEQUENCE … RESTART WITH <нужный номер>.

На вставку строк в таблицу может быть вызов триггера. Потому что вставка строки - это новая информация. А в зависимости от новой информации у нас могут быть разная логика подсчета того или иного показателя. Например, расчет бонусов для клиента зависит от суммы заказа. Поэтому при каждой вставке в таблицу заказов будет вызван триггер по расчету бонусов для клиента.

CREATE TRIGGER bonus

AFTER INSERT ON orders

FOR EACH ROW

EXECUTE FUNCTION bonus_cnt();

Каждая новая строка вызовет bonus_cnt().
Даже если ты вставляешь 1000 строк, триггер вызовется 1000 раз.

Есть еще такое понятие как UPSERT.

UPSERT = INSERT + UPDATE, т.е. «вставить новую запись, а если такая запись уже есть — обновить существующую».

Пример: у нас есть таблица users с колонкой id. Мы хотим добавить пользователя с id = 1.

  • Если пользователя нет → вставляем.

  • Если пользователь есть → обновляем его данные.

Но такой INSERT + UPDATE в каждой СУБД реализуется по разному.
Одна и та же логика «вставить или обновить» в коде не переносится напрямую между базами. То, что называется UPSERT в PostgreSQL, будет работать иначе в MySQL и совсем иначе в SQL Server.

INSERT ... ON CONFLICT (id) DO UPDATE ... -- Вставляет запись, если id ещё нет; иначе обновляет эту запись. PostgreSQL

INSERT ... ON DUPLICATE KEY UPDATE ... -- MySQL

MERGE ... -- SQL Server

По сути, UPSERT — это концепция, а не единый универсальный оператор.

На скорость INSERT влияет наличие индексов в таблице. Чем больше индексов, тем долше будет выполняться вставка. Каждая новая строка должна обновить все индексы. При массовых загрузках индексы иногда отключают, а потом создают заново

А еще, иногда база говорит: «Вставка прошла успешно», но на диск ещё ничего не записано.

  • PostgreSQL и MySQL (InnoDB) используют write-ahead log: запись сначала идёт в журнал, потом — на диск.

  • Если прямо в этот момент выключить сервер → можно потерять часть данных.

Решается настройкой fsync, commit и уровней надёжности транзакций.

INSERT — это не просто «добавить данные». Это про индексы, блокировки, автоинкременты, батчи и даже про то, как СУБД пишет на диск.

Показать полностью 1
[моё] SQL Аналитик Аналитика База данных Выгорание экрана Новая работа Большие данные Таблица Длиннопост
5
DmitryRomanoff
DmitryRomanoff
1 месяц назад
Авторские истории
Серия Нексус

Недовольные инвесторы дают немного времени⁠⁠

Предыдущие главы книги "Нексус":

  • Глава 26. Разговор о суперсистемах в пятницу вечером

  • Глава 27. Мозговой штурм

  • Глава 28. Случайно не случайная встреча

Кабинет Пола, обычно наполненный мерцанием экранов и тихим гулом серверов, сегодня казался клеткой. За окном бушевал дождь, стуча по стеклу, как незваный гость. Марк Делакур, французский аристократ с седеющими висками и тростью из старинного серебра, медленно прошёлся вдоль стены, останавливаясь рядом с Полом. Его пальцы сжимали набалдашник трости так, будто он держал скипетр.

— Вы превратили наши инвестиции в песочный замок, мсье Пол, — произнёс он, гладя тростью по стеклу. — Прибыль тает, как шампанское на ветру.

Томас фон Штайнер, немецкий финансист в безупречном костюме цвета антрацита, стоял у стола, листая отчёт. Его глаза, холодные как сталь, выхватывали цифры, будто скальпелем:

— Рост расходов на пятьдесят процентов, падение чистой прибыли на двадцать процентов. Это авантюра, а не инвестиции!

Мэт попытался возразить, прижимая к груди папку с графиками:

— Мы оптимизируем… новый дата-центр…

— Оптимизируете? — Томас бросил отчёт на стол. — Ваша оптимизация напоминает мне ремонт двигателя на летящем самолёте. А дата-центр, где он?

Пол поднял руку, останавливая Мэта. Его голос звучал спокойно, но под кожей на висках пульсировала вена:

— Мы строим не просто дата-центр, а инфраструктуру будущего. Компания вернётся к высокой маржинальности бизнеса, которую я демонстрировал вам раньше, нужно лишь немного время!

— Когда? — Марк повернулся, трость звякнула о пол. — Мсье Пол, мои предки вкладывали золото в виноградники. Они знали, что первое вино будет через десятилетия, но они видели во что вкладывают деньги. Что вы можете мне показать?

— Они под землёй, — Пол щёлкнул пультом. На экране возникла трёхмерная модель дата-центра с лабиринтом серверов, опутанных синими линиями охлаждения. — Это виноградники цифровой эпохи.

Томас снял очки, протирая линзы платком:

— Виноградники не требуют ежемесячных миллионных вливаний. Вы просите нас верить в воздух.

Мэт, поймав взгляд Пола, открыл папку:

— Вот прогнозы. После запуска дата-центра доходы…

— Прогнозы, — перебил Марк, — это сказки для детей. Я вкладываю в факты. И есть факт того, что ваш лабиринт уже поглотил большую часть нашего капитала.

Пол встал, его тень накрыла экран:

— Технологии — это поле сражения, где идут отчаянные бои за право отстоять своё родовое имя! — Пол неожиданно вспомнил слабость аристократа к таким вещам.

— Будущее? — Томас застегнул пиджак, готовясь уйти. — У вас нет будущего, если через три месяца мы не увидим прибыль.

— Мы сделаем всё по лучшим законам симметрии, — отчаянно парировал Пол, вспоминая про слабость Томаса к идеальным структурам.

Марк прислонил трость к столу, наклонившись к Полу:

— Вы напоминаете мне алхимика, мсье, превращающего золото в свинец.

Дверь захлопнулась. Мэт опустился в кресло. Пол стоял у окна, наблюдая, как ливень смывает с улиц следы машин.

— Они не понимают… — начал Мэт.

— Понимают, — перебил Пол. — Но их мир — это квартальные отчёты!

— А если через три месяца…

— Что будет через три месяца? — Пол повернулся и тень натянутой улыбки скользнула по его лицу. — Значит, мы должны показать им прибыль через три месяца во что бы то ни стало.

Показать полностью
[моё] Продолжение следует Авторский рассказ Фантастический рассказ IT Финансист Финансы Финансовая грамотность Самиздат Инвестиции Хедж-фонд Деньги Богатство Гений Развитие личности Хакеры Бэкдор Взлом Длиннопост Текст Русская фантастика Роман Большие данные
0
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии