В рилсах, тиктоках и тд у меня начали всплывать рекламы этого планировщика. Естественно с доступом за деньги. Но я клянусь, что видел пост или статью как его сделал энтузиаст для нуждающихся. Помогите найти
Сегодня последний день 2025 года.
И даже не крайний, как многие любят говорить.
Вообще, 31 декабря - это не про чтение постов.
Это про:
- беготню по магазинам
- салаты "на глаз"
- запах мандаринов
- фоновые фильмы ("Ирония судьбы", например)
- и тихую надежду, что следующий год будет чуть мягче, чем предыдущий
Поэтому пусть этот пост будет просто точкой.
Тихой, спокойной точкой в конце года.
Хочу пожелать вам в эту предновогоднюю суету уюта.
Не обязательно идеального праздника - а именно уюта.
Чтобы было тепло, спокойно и по-человечески хорошо.
А если вдруг вы из тех, кто 31 декабря всё равно думает про цифры, данные и "а что там в статистике за год" - оставлю здесь ссылку на свой телеграм-канал.
Там я пишу про SQL и базы данных:
- как не бояться JOIN
- зачем нужен GROUP BY
- почему NULL ≠ 0
- и как вообще начать понимать, что происходит в запросах
Ну и разбор задач по накопительной сумме и скользящему окну уже выложены
Канал я веду с нуля подписчиков, без крика и без пафоса.
Но сегодня - не об этом.
Сегодня просто до встречи в новом году 🤍
Берегите себя и пусть 2026 будет чуть добрее.
Ну что, новый год не за горами, за окном зимнее настроение и в преддверии новогоднего чуда поговорим о моделях данных.
Многие из нас привыкли работать с таблицами и воспринимаем набор данных как плоскую структуру. Но если расширить фокус не просто на таблицы с данными, а на таблицы и их связи между ними, то сразу можем переходить к обсуждению моделей данных.
Их больше чем три, просто эти самые часто используемые.
Ну об этом ниже.
А пока подписывайся на мой канал На связи: SQL
Там я публикую посты про особенности и нюансы SQL.Этот канал про то, как не бояться баз данных, понимать, что такое JOIN, GROUP BY и почему NULL ≠ 0. Его я веду с нуля подписчиков.
Разбор задач со скользящим окном уже в канале.
Присоединяйся!
Представь обычную рабочую базу: CRM, биллинг, сайт, мобильное приложение.
Там данные живые:
- что-то постоянно обновляется
- что-то удаляется
- что-то правится «прямо сейчас»
Такая база нужна, чтобы система работала.
А теперь представь аналитика, который приходит и спрашивает:
- сколько мы продали за год
- как изменилась выручка
- кто покупал чаще
- что происходило в прошлом квартале
И тут выясняется неприятная вещь:
базы, удобные для работы системы, неудобны для анализа.
Именно в этот момент появляются специальные способы моделирования данных.
Самая дружелюбная и любимая для аналитика схема.
Она выглядит очень просто:
в центре - таблица с событиями, ее иногда называют таблицей фактов.
вокруг - таблицы с описанием этих событий (фактов).
Например, продажа - это событие.
А клиент, товар, дата, магазин - это описание.
В результате получается структура, где:
- запросы читаются легко
- JOIN-ы понятные
- отчёты считаются быстро
Звезда - это про комфорт.
Про «я открыл SQL и через 5 минут понял, что тут происходит».
Поэтому почти все BI-отчёты, дашборды и витрины данных в итоге сводятся именно к звезде, даже если внутри системы всё гораздо сложнее.
Снежинка чаще всего возникает, когда разрастаются справочники, которые описывают события, когда сами справочники становятся многоуровневыми.
Например: у клиента есть адрес, а адрес по ФИАСу имеет несколько уровней: Регион, район, город/населенный пункт и т.д.
В таких случаях "звезда" начинает таять и превращается в снежинку.
Если структурно, то снежинку можно описать так:
В снежинке таблицы описаний дробятся:
категории выносятся отдельно,
регионы - отдельно,
справочники становятся иерархиями.
Данных дублируется меньше, структура логичнее, архитектор доволен.
А вот аналитик уже не так счастлив - запросы длиннее, JOIN-ов больше, ошибок больше.
Снежинка - это компромисс.
Она аккуратнее, но сложнее.
Её выбирают там, где важен порядок, а не только скорость анализа.
Эта модель отвечает на вопрос:
Как сохранить данные так, чтобы ничего не потерять?
Здесь никого не волнует, удобно ли тебе писать SELECT.
Здесь волнует:
- откуда пришли данные
- когда они изменились
- какими они были раньше
Data Vault специально спроектирован так, чтобы история не затиралась.
Ничего не обновляется "поверх".
Каждое изменение - это новая версия.
Как это ощущается на практике
В обычной аналитической модели клиент сменил фамилию - и всё, старая пропала.
В Data Vault фамилия просто получила новую запись с датой изменения.
И теперь можно узнать, какой она была год назад, два года назад, пять лет назад.
Поэтому Data Vault так любят банки, финтех и большие корпорации:
- аудит
- юридическая точность
- десятки источников
- постоянные изменения
Часто Data Vault используют как "внутреннее хранилище правды",
а поверх него уже строят звёзды - для аналитиков и отчётов.
Да и в принципе Data Vault переводится как "хранилище данных", "сейф данных".
В моем канале На связи: SQL все простыми словами и с конкретными примерами.
Подписывайся!
Доброй ночи, если вы на работе чувствуете себя ебанько, то знайте, у нас есть клиент которому возим заказы за 200км в Кингисепп, они нам шлют заявки в Экселе, а в каждом файле вся матрица товара на 3 листа (я обычно фильтрую по строчкам где проставлено количество, и с получившейся нормальной таблицы набиваю заказ в 1С).
Вчера блядь очередную заявку отфильтровал не по той колонке, и сижу с довольным ебалом набиваю; в итоге не уехали овощи на 800кг и половина бакалеи🤦♂️🤦♂️🤦♂️
Наутро всё же нашли водителя и довезли недостающий товар, но я получил таких пиздюлей от склада и логистики, что, кажется, долетел бы на них до самого Кингисеппа.
Наши вашим, хуями машем, спасибо-пожалуйста.
Бухгалтерский учет переживает настоящую революцию благодаря ИИ для бухгалтеров. То, что еще недавно казалось фантастикой — автоматическая обработка тысяч документов за минуты, выявление ошибок и мошенничества в реальном времени, точные финансовые прогнозы — сегодня становится повседневной реальностью. По данным исследований, рынок ИИ в бухгалтерии стремительно растет, а многие компании уже отмечают сокращение времени на рутинные задачи на 40–60%.
ИИ не заменяет бухгалтера, а становится его надежным ассистентом: автоматизирует ввод данных, классификацию операций, сверку счетов и подготовку отчетности, освобождая время для стратегического анализа, консультирования и принятия ключевых решений.
В этой статье я разберу, как именно искусственный интеллект трансформирует бухгалтерию, какие инструменты уже доступны, какие преимущества они дают и что нужно знать бухгалтеру, чтобы оставаться востребованным в эпоху цифровых изменений.
Искусственный интеллект стал незаменимым помощником для бухгалтеров, автоматизируя рутину и позволяя сосредоточиться на аналитике, прогнозировании и стратегических решениях. Вот несколько типичных повседневных задач и сценарии, где ИИ значительно ускоряет работу, с примерами конкретных нейросетей.
Сценарий: расчет налогов, амортизации, процентов по кредитам, сверка баланса или моделирование сценариев "что если". Вместо ручного ввода в Excel или калькулятор ИИ решает уравнения, показывает пошаговые объяснения и минимизирует ошибки.
Полезная нейросеть:
StudyAI Математический калькулятор — онлайн-инструмент для вычисления сложных выражений с подробными решениями. Идеален для налоговых расчетов или финансового моделирования. Сервис интегрирован в платформу StudyAI и использует мощные нейросети для обработки запросов.
Примеры использования: "Рассчитать амортизацию оборудования стоимостью 1 000 000 руб. за 5 лет линейным методом"
Сценарий: быстрый поиск ответа на вопрос по Налоговому кодексу, составление проводок, объяснение учета конкретной операции или генерация шаблонов документов.
Полезные нейросети:
ChatGPT — мощная универсальная модель от OpenAI для самых разных задач, в том числе генерации текста, анализа ситуаций и ответов на бухгалтерские вопросы. Поддерживает русский язык и большой контекст.
Примеры использования: запрос "Составь бухгалтерские проводки по поступлению товаров на 500 000 руб. с НДС 20%" или "Объясни изменения в НДС с 2025 года".
GPTunnel — это российский агрегатор нейросетей, предоставляющий удобный доступ к десяткам ведущих ИИ-моделей мира в одном интерфейсе.
Примеры использования: запрос: «Ты — эксперт по российскому бухучету 2025 года. Составь проводки по начислению амортизации ОС стоимостью 800 000 руб. нелинейным методом за первый год. Укажи счета, суммы и ссылки на ПБУ 6/01.»
ruGPT — специализированная нейросеть для бухгалтеров, адаптированная под российское законодательство, помогает с проводками, отчетностью и консультациями.
Примеры использования: запрос "Проводки по начислению зарплаты с НДФЛ и взносами в 2025 году".
Сценарий: нужно быстро структурировать данные из текста (например, из описания операций, отчетов или первички) в таблицу Excel — с колонками, формулами и оформлением.
Полезная нейросеть:
SmartBuddy — нейросеть, которая по текстовому описанию генерирует готовую Excel-таблицу. Поддерживает загрузку файлов и работает без регистрации.
Примеры использования: Описание "Создай таблицу расходов за месяц: столбцы Дата, Статья, Сумма, НДС; добавь формулу итого" — и скачать готовый Excel-файл.
Обработка первичных документов: ИИ распознает сканы счетов-фактур и автоматически заносит данные (например, в специализированных сервисах вроде СБИС или 1С с ИИ-модулями).
Финансовый анализ и прогнозы: генерация отчетов о рентабельности, выявление аномалий в расходах.
Составление отчетности: автоматическая проверка на ошибки и заполнение форм.
Начиная с простых инструментов вроде перечисленных, бухгалтер может сэкономить до 50–60% времени на рутине. Главное — формулировать запросы четко и проверять результаты, особенно в вопросах, связанных с законодательством.
Искусственный интеллект уже стал повседневным инструментом для миллионов бухгалтеров по всему миру, включая Россию. Крупные компании и индивидуальные специалисты успешно применяют ИИ для автоматизации рутины, и серьезные инциденты утечек из-за нейросетей крайне редки. При правильном использовании ИИ не только безопасен, но и значительно повышает защиту данных, минимизируя человеческие ошибки — главную причину финансовых потерь и штрафов.
Большинство инструментов соответствуют стандартам защиты
Современные российские и корпоративные ИИ-сервисы работают по строгим правилам 152-ФЗ о персональных данных. Данные шифруются, не используются для дообучения моделей и хранятся на серверах в РФ.
ИИ снижает риски, а не повышает их
Автоматическая проверка документов выявляет ошибки, дубли и подозрительные операции быстрее человека. По данным исследований, внедрение ИИ сокращает количество ошибок в отчетности на 30–50%, что напрямую уменьшает риски штрафов от ФНС.
Контроль остается за человеком
ИИ — это ассистент, а не самостоятельный агент. Ответственность за отчетность и данные всегда лежит на бухгалтере, что гарантирует дополнительный уровень контроля.
Чтобы исключить даже минимальные риски, достаточно следовать нескольким рекомендациям — они занимают секунды, но могут обезопасить вас:
Не вводите реальные конфиденциальные данные в публичные зарубежные нейросети. Используйте анонимизированные примеры или российские/корпоративные аналоги.
Предпочитайте проверенные решения:
Интеграции ИИ внутри 1С, Диадок, Такском — данные не покидают вашу систему.
Российские платформы (StudyAI, ruGPT, SmartBuddy) с прозрачной политикой конфиденциальности.
Корпоративные версии зарубежных моделей с отключенным обучением на ваших данных.
Проверяйте результаты — это стандартная профессиональная практика, независимо от использования ИИ.
Вывод: да, использовать ИИ бухгалтеру безопасно — и даже рекомендуется. Миллионы специалистов уже делают это ежедневно без каких-либо проблем. При соблюдении простых правил риски стремятся к нулю, а преимущества — экономия времени, снижение ошибок и повышение качества работы — становятся очевидными.
ИИ не угрожает вашей безопасности и конфиденциальности. Наоборот, он помогает работать точнее, быстрее и спокойнее. Главное — осознанный выбор инструментов, и тогда искусственный интеллект станет вашим самым надежным помощником.
Искусственный интеллект уже взял на себя значительную часть рутины бухгалтера — от распознавания документов до сложных расчетов и генерации таблиц. Однако ИИ остаётся инструментом, а не полноценным специалистом. Есть задачи, которые нейросети пока не могут выполнять самостоятельно или выполняют с ограничениями. Понимание этих границ помогает правильно использовать ИИ и не перекладывать на него то, за что вы несете личную ответственность как бухгалтер.
Принимать профессиональное суждение и нести ответственность
ИИ не может заменить профессиональное суждение бухгалтера в сложных и неоднозначных ситуациях (например, квалификация операции как расхода или дохода при отсутствии четких норм). Ответственность за правильность отчетности, проводок и уплату налогов всегда лежит на человеке — штрафы от ФНС приходят именно бухгалтеру или руководителю, а не нейросети.
Гарантировать 100% актуальность и корректность законодательства
Нейросети обучаются на данных до определенной даты и могут не знать последних изменений в Налоговом кодексе, письмах Минфина или постановлениях ФНС. Даже специализированные модели иногда дают устаревшие или ошибочные толкования. Всегда требуется проверка на официальных источниках.
Самостоятельно подписывать и сдавать отчётность
ИИ не имеет ЭЦП (электронной цифровой подписи) и не может самостоятельно отправлять декларации, расчеты или формы в ФНС, Социальный фонд или Росстат. Это остаётся исключительно прерогативой уполномоченного лица.
Полностью понимать контекст бизнеса и стратегию компании
Нейросеть не знает специфику вашего бизнеса, внутренних политик, договорённостей с контрагентами и долгосрочных целей. Она не может самостоятельно принимать решения о налоговой оптимизации, резервах или реструктуризации без детального участия специалиста.
Творчески решать нестандартные и прецедентные ситуации
В случаях судебных споров, проверок или уникальных операций (например, международные сделки с трансфертным ценообразованием) ИИ дает только общие рекомендации. Глубокий анализ и стратегия защиты остаются за профессионалом.
Успех работы с искусственным интеллектом на 80% зависит от качества вашего промпта — запроса к нейросети. Плохо сформулированный вопрос даёт общий или неверный ответ, а четкий и структурированный промпт экономит часы работы, минимизирует ошибки и позволяет получать точные проводки, расчеты и отчеты за минуты.
Вот проверенные правила и приемы, которые используют бухгалтеры для максимальной отдачи от ИИ.
Будьте максимально конкретны
Избегайте общих фраз вроде «Расскажи про НДС». Указывайте детали: сумму, тип операции, режим налогообложения, год.
Плохо: «Как учесть покупку оборудования?»
Хорошо: «Составь бухгалтерские проводки по покупке основного средства стоимостью 1 200 000 руб. (в т.ч. НДС 20%) в марте 2025 года для организации на ОСНО. Укажи счета по ПБУ 6/01.»
Указывайте роль или контекст
Начните промпт с фразы, задающей роль ИИ. Это повышает точность ответа.
Пример: «Ты — главный бухгалтер с 15-летним опытом на ОСНО в России. Объясни...»
Структурируйте запрос
Просите ответ в нужном формате: таблица, нумерованный список, проводки по порядку.
Пример: «Ответь в формате таблицы: столбцы — Дата, Дебет, Кредит, Сумма, Основание.»
Добавляйте актуальность и источники
Укажите год и попросите ссылки на нормативку.
Пример: «...с учётом изменений Налогового кодекса РФ на декабрь 2025 года. Приведи ссылки на статьи НК РФ и письма Минфина.»
Используйте примеры
Дайте 1–2 примера правильного ответа, чтобы ИИ понял стиль.
Пример: «Составь проводки аналогично этому примеру:
Поступление товаров: Дт 41 Кт 60 — 100 000 руб., Дт 19 Кт 60 — 20 000 руб.
Теперь для услуги транспортной компании...»
Просите пошаговые объяснения
Для расчётов и сложных операций добавьте: «Покажи расчёт пошагово» или «Объясни каждую проводку».
Ограничьте объем и уточняйте
Если ответ слишком длинный — попросите кратко. Если нужно углубиться — уточните в следующем сообщении.
Проводки:
«Ты — эксперт по российскому бухучёту 2025 года. Составь бухгалтерские проводки по [описание операции]. Укажи счета, суммы, НДС отдельно. Формат: таблица с колонками Дата, Дебет, Кредит, Сумма, Содержание операции.»
Расчёты:
«Рассчитай [налог/амортизацию/проценты] для [данные]. Покажи формулу и пошаговый расчёт. Учти нормы на 2025 год.»
Консультация по закону:
«Объясни, как правильно учесть [операция] согласно НК РФ и ПБУ в 2025 году. Приведи статьи закона и возможные риски.»
Генерация таблицы Excel:
«Создай таблицу Excel: столбцы — Дата, Контрагент, Сумма без НДС, НДС, Сумма с НДС, Назначение. Заполни данными: [перечисли операции]. Добавь строку ИТОГО с формулами СУММ.»
Составляйте промпт так, будто объясняете задачу неопытному коллеге: чем подробнее и структурированнее, тем лучше результат. Не бойтесь уточнять и переспрашивать — диалог с ИИ повышает точность до 95%.
Искусственный интеллект уже берёт на себя рутинные задачи — обработку первички, расчёты, проводки и таблицы, — освобождая время для анализа, прогнозирования и стратегического консультирования. При правильном использовании ИИ безопасен, эффективен и значительно повышает качество работы.
Главное — помнить: нейросеть это мощный ассистент, а не замена профессионалу. Умение составлять точные промпты, проверять результаты и применять ИИ осознанно определяет, насколько сильно он усилит вашу экспертизу.
Бухгалтер, владеющий инструментами искусственного интеллекта, становится более востребованным, продуктивным и уверенным. Начните внедрять ИИ уже сегодня — и завтра вы будете на шаг впереди в профессии, которая продолжает эволюционировать.
Паспортные данные - это персональная информация. Она нужна, чтобы идентифицировать человеке.
Но как их хранить, что с ними делать, кому давать доступ?
Это очень часто становится развилкой в организации хранения данных.
Об этом ниже.
А пока подписывайся на мой канал На связи: SQL Там я публикую посты про особенности и нюансы SQL. Этот канал про то, как не бояться баз данных, понимать, что такое JOIN, GROUP BY и почему NULL ≠ 0.
Его я веду с нуля подписчиков.
Разбор частых ошибок и задачи по накопительной сумме уже в канале.
Присоединяйся!
Паспорт - это не просто набор цифр.
Это ключ к человеку: по нему можно понять, кто он, где живёт, какие услуги получал и что с ним происходило в системе.
Именно поэтому вокруг паспортных данных всегда много вопросов:
Можно ли хранить паспорт в базе данных?
Почему иногда по паспорту делают JOIN?
Почему в одних системах паспорт виден полностью, а в других — нет?
Паспорт это не просто набор цифр.
Это ключ к человеку: по нему можно понять, кто он, где живёт, какие услуги получал и что с ним происходило в системе.
Именно поэтому вокруг паспортных данных всегда много вопросов:
Можно ли хранить паспорт в базе данных?
Почему иногда по паспорту делают JOIN?
Почему в одних системах паспорт виден полностью, а в других — нет?
В идеальном мире паспортные данные:
Хранятся в базе данных
Да, это важно сразу проговорить -
👉 паспорт всё равно лежит в БД, иначе с ним просто невозможно работать.
Но не в открытом виде
Это значит:
не просто текстом 1234 567890
не так, чтобы любой сотрудник мог его посмотреть запросом
Доступны только тем, кому действительно нужно
Например:
пользователю в личном кабинете
сотруднику KYC / поддержки
системе проверки документов
В реальных системах ID клиента — не всегда надёжен.
Пример из жизни:
человек зарегистрировался в системе
потом пришёл снова, но:
с другим номером телефона
с другой почтой
через другой канал (офис / сайт / партнёр)
В итоге в базе:
два разных client_id
но один и тот же паспорт
👉 И это прямой сигнал:
это один и тот же человек
Поэтому в некоторых случаях:
делают объединение (JOIN) по паспорту
чтобы понять, что записи относятся к одному человеку
Это особенно важно:
в банках
в финтехе
в государственных системах
в CDI (системах, которые собирают данные о клиентах из разных источников)
Потому что с паспортом делают проверки и сравнения.
Например:
«Этот паспорт уже есть в системе?»
«Этот человек уже проходил идентификацию?»
«Это новый клиент или старый?»
Если просто заменить паспорт на набор звёздочек: **** ****** - с ним не возможно напрямую работать
Поэтому часто используют подход:
паспорт хранится в защищённом виде
но система всё равно может:
сравнивать
находить совпадения
связывать записи
Да, такие случаи есть. И они нормальны, если соблюдены условия.
Пользователь:
сам вводит паспорт
сам его видит
сам может исправить ошибку
Это допустимо, потому что:
это его данные
он дал согласие
доступ есть только у него
Сотрудники:
видят паспорт полностью
но не напрямую из базы
а через интерфейс системы
Важно:
каждый просмотр логируется (записывается)
есть роли доступа
нельзя просто «посмотреть ради интереса»
Это системы, которые:
собирают данные о клиенте из разных источников
проверяют документы
подтверждают личность
Здесь паспорт:
часто нужен целиком
иначе невозможно выполнить проверку
Потому что:
аналитике не нужен сам паспорт
аналитике нужен идентификатор человека
Поэтому в аналитических базах:
паспорт заменяют на client_id
или на специальный технический ключ
👉 Это снижает риск утечек и ошибок.
В некоторых слоях хранения данных, паспорт хранится в виде хэша. Но надо помнить, что хэш ≠ шифрование
Хэширование - это дорога в одну сторону.
Есть еще метод шифрования и при его использование можно восстановить данные, если есть ключ.
Хэш не подходит, если паспорт нужно:
показать пользователю
передать в другую систему
проверить вручную
Хэш не подходит, если паспорт нужно:
показать пользователю
передать в другую систему
проверить вручную
В реальных системах обычно два уровня хранения:
хранится в БД
может быть расшифрован
доступ есть только:
у сервиса
у строго ограниченного круга ролей
Это нужно, когда:
пользователь открывает личный кабинет
сотрудник банка смотрит данные
идёт проверка документа
используется для:
поиска дублей
объединения клиентов
JOIN между системами
никогда не раскрывается наружу
👉 Аналитик работает с хэшом
👉 Операционная система - с зашифрованным паспортом
Потому что тогда:
нельзя показать паспорт пользователю
нельзя исправить ошибку
нельзя передать данные в гос-сервис
нельзя провести ручную проверку
Хэш отвечает только на вопрос:
«Совпадает или нет?»
Но не отвечает на вопрос:
«А что именно там написано?»
Нет.
И если кто-то говорит, что «у нас хэшируется, но при необходимости мы восстанавливаем» -
👉 значит это не хэш, а шифрование.
В моем канале На связи: SQL все простыми словами и с конкретными примерами.
Подписывайся!
В далекие времена после университета, я работала специалистом по качеству данных.
Данные были клиентские: ФИО, адреса, телефоны, email. И надо было, чтобы данные были качественные. Для этого в компании использовалось ПО по стандартизации данных, надо было следить, чтобы ПО работало корректно, если замечаешь, что при обработке допущена ошибка, то выставляешь ТЗ на доработку, проверяешь, чтобы новый релиз работал как минимум не хуже чем предыдущий ну и т.д.
Так вот, хоть я и работала с клиентскими данными, но я не работала с БД. Хотя все данные лежали в БД. У меня там были выгрузки в Excel, их формировал кто-то другой. И я в Excel обрабатывала эти данных - надо было, чтобы процент плохих или неразобранных данных был меньше 3.
Перешла я в другую компанию - тоже на проект с качеством клиентских данных. И тут мне предлагают: "а давай мы тебе доступ к БД дадим, ты там будешь селектики делать, статистику считать". И тут у меня загорелись глаза. "Да, конечно, я хочу, но я ничего не знаю, не знаю как пользоваться, хотя в универе у меня был курс, связанный с базами данных. Но я ничего не помню. Так у меня началось осознанное знакомство с SQL.
А пока подписывайся на мой канал На связи: SQL Там я публикую посты про особенности и нюансы SQL. Этот канал про то, как не бояться баз данных, понимать, что такое JOIN, GROUP BY и почему NULL ≠ 0.
Его я веду с нуля подписчиков.
Разбор частых ошибок и задачи по накопительной сумме уже в канале.
Присоединяйся!
Глаза горели, а руки делали в тот момент. Я начала знакомится, что такое БД, DWH, а потом стали появляться Data Lake.
Все эти слова (База данных, DWH, Data Lake) - это про совокупность данных. Везде здесь могут быть связи. Везде может использоваться одна и та же технология (PostgreSQL, S3, ClickHouse и т.д.)
Почему же, если это все про совокупность данных, стали появляться разные слова для этого?
Посмотрим на кусок мяса.
Мы его можем варить, жарить, мариновать.
Но это все равно остается мясом.
Получается, что мясо - это сырье.
А стейк, бульон, котлета - это не мясо, а БЛЮДА.
А теперь попробуем сделать проекцию на данные.
Данные = мясо.
БД/DWH/Data Lake - не мясо, а способ организации этого мяса
База данных - это технология хранения
DWH и Data Lake - это концепции организации данных
У DWH есть своя БД
У Data Lake - своя БД
Но не каждая БД - это DWH
И не каждая БД - это Data Lake
База данных - это как холодильник. Он хранит еду, ему все равно, будет ли это суп или торт.
БД - это "контейнер + правила":
- как хранить данные
- как читать
- как писать
- как обеспечивать целостность
БД Не говорит - зачем хранить эти данные, как они буду использоваться.
Что же такое DWH?
Это ближе уже к готовому блюду. Его не переделывают, его едят и анализируют (это в идеале, конечно)
В DWH данные:
- приведены к единому виду
- нормализованы (чаше всего встречается 3-я форма нормализации - этого достаточно)
- уже очищены
- изменения задним числом недопустимы
Все это не про связи, это про правила жизни данных.
Тогда что включает в себя Data lake?
Озеро данных - это "склад без разборки"
Многие компании не знают, что пригодится завтра, поэтому максимально пытаются сохранить большее количество данных.
Данных действительно бывает много, не все они участвуют в бизнес-процессах и монетизируются. Но терять их никто не хочет.
Поэтому компании организовывают Озеро данных:
- данные хранятся как есть
- без очистки
- без структуры
- без гарантий
- связи между данными могут быть, а могут и нет
Но в некоторых данных встречала, что какие-либо отчеты формируются на данных из "озера".
Поэтому появляются термины, чтобы сказать:
- это БД, которая используется как DWH
- это БД, которая используется как Data Lake
В итоге, получается, что БД - это "где хранятся данные".
DWH и Data Lake - это как и в каком виде они там хранятся.
В моем канале На связи: SQL все простыми словами и с конкретными примерами.
Подписывайся!
Если вы застали 90-е, то наверняка помните, что раньше софт делали с душой. Разработчики Microsoft тогда развлекались как могли и пихали пасхалки везде куда могли.
Самой легендарной историей стал «Зал истязаемых душ» (The Hall of Tortured Souls) в Excel 95. Это был не просто секрет, а полноценный 3D-шутер от первого лица, спрятанный прямо в таблицах. Казалось бы, круто? Но спустя пару лет эта шутка породила одну из самых диких теорий заговора раннего интернета. Люди на полном серьезе считали, что через Excel Билл Гейтс открывает портал в Ад.
Как попасть в Ад (гайд для олдов)
В 90-е прятать имена авторов в коде было нормой. Ещё в Windows 1.0 был список авторов (среди которых, кстати, затесался совсем молодой Гейб Ньюэлл — да, тот самый, еще до того как он придумал Steam и разучился считать до трёх).
Но в Excel 95 ребята превзошли сами себя. Чтобы активировать пасхалку, нужно было выполнить настоящий сатанинский ритуал:
Открыть пустой лист.
Спуститься на 95-ю строку.
Выделить всю строку, нажать Tab, перейти в колонку B.
Зажать Ctrl+Shift и кликнуть «Справка» -> «О программе».
Вместо скучного окна «О программе» открывался тот самый «Зал истязаемых душ». Бродилка в стиле Doom: кислотные бассейны, кривые стены и синие колонны. В конце зала висели имена разработчиков. А если развернуться и ввести чит-код excelkfa, стена исчезала, и открывался проход в тайную комнату с фотками всей команды.
Сейчас это выглядит как поделка школьника на Unity, но в 1995-м от этого взрывался мозг у любого офисного клерка.
От пасхалки до «Числа Зверя»
Веселье закончилось в 1997-м. Тогда по первым форумам и письмам e-mail («перешли 10 друзьям, или умрешь»?) начали гулять тревожные письма:
Microsoft — инструмент Дьявола, Билл Гейтс — Антихрист. Доказательная база была просто убойной. Конспирологи вооружились калькулятором и ASCII-кодами.
Следите за руками:
Полное имя Гейтса — Bill Gates III.
Если перевести буквы в ASCII-коды и сложить, сумма равна 666.
Если взять MS-DOS 6.21 — сумма тоже 666.
WINDOWS 95? Вы не поверите — 666 (ну, если очень захотеть и чуть-чуть подтасовать цифры).
«Зал истязаемых душ» в Excel стал главным вещдоком. Логика в письмах была железная.
«Зачем в офисной программе скрытый лабиринт с таким жутким названием? Гейтс использует этот код, чтобы захватить ядерные арсеналы, банковские системы и устроить Апокалипсис!»
Даже безобидную аббревиатуру WWW притянули за уши. Конспирологи видели в ней римские цифры VI VI VI (666). Вывод был прост... Удаляйте Excel! Покайтесь! Ждите конца света.
Шизотеории живы до сих пор
Смешно? Безусловно. Но эта история из 90-х отлично показывает, как интернет умеет раздувать панику из ничего. Даже спустя 30 лет Microsoft прилетает от религиозных фанатиков.
А что касается нумерологии... Смотрите сами:
WWW — это не три шестерки. Это перевернутые пятерки. Три пятерки в сумме дают 15. 15 + 15 (две руки) = 30. Делим 30 на 10... получаем 3.
Half-Life 3 confirmed. Шах и мат, атеисты.
Основано на материале PC Gamer.
