Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Веселая аркада с Печенькой для новогоднего настроения. Объезжайте препятствия, а подарки, варежки, конфеты и прочие приятности не объезжайте: они помогут набрать очки и установить новый рекорд.

Сноуборд

Спорт, Аркады, На ловкость

Играть

Топ прошлой недели

  • Oskanov Oskanov 9 постов
  • Animalrescueed Animalrescueed 44 поста
  • Antropogenez Antropogenez 18 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
0 просмотренных постов скрыто
CIOlogia
CIOlogia

ViRush 2030⁠⁠

2 дня назад

Я, Владислав, рассказывал на ViRush 2030 о том, как ArLift управляет 2000+ единицами техники в 22+ регионах с помощью Data-Driven подхода 🚀


Когда у тебя есть операции в Москве, Питере, Владивостоке и ещё 19+ регионах — ты не можешь позволить себе роскошь решать на интуиции. Главный вызов:

✅ Владивосток работает, Санкт-Петербург спит — а ты должен принимать решения круглосуточно
✅ 2000 единиц разной техники — каждая со своей спецификой, нужен единый стандарт анализа
✅ Отчеты идут 3-5 дней вместо того, чтобы быть моментально под рукой
✅ Данные раздроблены по 10+ источникам — нет единой картины бизнеса

Результат? CIO вынужден был выбирать: либо иметь быстрые решения, либо иметь достоверные данные.

И вот здесь вмешался управление данными как ключ к успеху.


🎯 О чем я с Анастасией говорили:

1️⃣ Оптимизация процессов
Вместо того, чтобы ждать 80% времени на сборку отчетов — Visiology свел это к нескольким часам. Автоматизация интеграции 10+ источников данных, и команда работает с анализом, а не с Excel 📊

2️⃣ Прозрачность данных — для всех 🔍
Когда в нескольких регионах случаются проблемы с техникой, руководитель видит это в реальном времени. Интуитивные дашборды Visiology — не для ИТ специалистов, а для всех сотрудников, от менеджера до директора.

3️⃣ Качество аналитики + быстрота решений ⚡
95% точность данных (ноль ручного ввода = ноль ошибок). Критичные сигналы идут не через СМС, а через систему — моментальное реагирование на алармы.

4️⃣ Масштабируемость без боли 📈
Модель работает одинаково, приходишь в новый регион — присоединяешь его к шине данных. Гибридное облачное+локальное решение = безопасность, гибкость, скорость.


🏆 Что получилось:

📌 80% экономия времени на подготовку показателей
📌 95% точность данных вместо ошибок вручную
📌 Еженедельные дашборды вместо месячных отчетов
📌 Единая корпоративная модель данных для всех 22+ регионов и 2000+ машин

Короче: не нужна суперсложная система — нужна система, которая работает как часы и дает ответы в момент, когда они нужны.


🔥 Главная идея:

CIO, который управляет данными как Visiology, становится не "блокером инфраструктуры", а стратегом, который держит руку на пульсе бизнеса. Пока конкуренты гадают — ты уже понял, где прибыль, где кровотечение, где возможность.

Управляйте данными — управляйте будущим!


На ViRush 2030 это было не про PowerBI vs Visiology, и не про облако vs локальное. Это было про то, что в эпоху ИИ компания без real-time аналитики будет отстающей. И CIO, который это понимает и внедряет, — уже выигрывает.

🎯 Хотели услышать нас? Следующий ViRush ждёт вас в 2026.

#ViRush2030 #CIOлогия #DataDriven #BusinessIntelligence #Аналитика


P.S. Всем CIO, кто ещё думает, сколько недель уходит на подготовку квартального отчета — вам срочно на ViRush 😎🚀

1 источник

Теперь подготовь большей развернутый пост на habr

5 шагов выполнено

[CIO] Как мы управляем 2000+ единицами техники в 22 регионах через единую аналитическую платформу

Владислав, CIO ArLift

На ViRush 2030 мы с коллегой Анастасией поделились кейсом, как трансформировать операционное управление в условиях географически распределенного бизнеса. В этом посте — детали внедрения, цифры и уроки, которые могут быть полезны CIO, CTO и руководителям digital-направлений.


Проблематика: почему старые подходы не работают

У ArLift 22+ региональных представительств от Владивостока до Санкт-Петербурга, более 2000 единиц разнородной техники и 10+ автономных IT-систем на периметре. Классическая модель управления — централизованный сбор отчетности, ручная консолидация в Excel, недельный цикл подготовки данных для принятия решений.

Ключевые боли до трансформации:

1. Время реакции
Отчет из регионов шел 3-5 дней. За это время ситуация успевала измениться. Владивосток работает, когда Питер спит — а управленческая команда не имела инструментов для круглосуточного мониторинга.

2. Раздробленность данных
Каждый регион использовал свои инструменты: 1С, Bitrix, разные CRM, Excel-файлы на сетевых дисках. Единой модели данных не существовало — каждый отчет был «истиной в последней инстанции» для своего владельца.

3. Качество и достоверность
Ручной ввод, копирование из системы в систему, отсутствие единых стандартов — ошибки достигали 15-20% в критичных показателях (загрузка техники, простои, доходность на единицу).

4. Масштабирование
При открытии нового представительства внедрение аналитики занимало 3-4 месяца. Каждый раз — заново настраивать коннекторы, дашборды, процессы.

5. Управленческая слепота
Руководитель не мог в моменте ответить: «Какая техника сейчас простаивает?», «Где мы теряем маржу?», «Какой регион не выполняет KPI?». Для ответа требовался запрос в IT, ручной сбор данных, подготовка презентации.


Цели проекта: от «иметь отчеты» к «управлять в реальном времени»

Мы сформулировали 4 стратегических приоритета:

  1. Оптимизация процессов — сократить время на сбор показателей с 3-5 дней до нескольких часов, устранить ручные операции

  2. Прозрачность данных — обеспечить доступность и понятность данных для всех подразделений

  3. Качество аналитики — повысить достоверность и глубину анализа для стратегических решений

  4. Единая модель — создать корпоративную модель данных с визуализацией и мониторингом в реальном времени


Выбор платформы: почему Visiology

Мы рассматривали несколько вариантов: Power BI, Qlik, Tableau, собственная разработка. Visiology выбрали по 4 критериям:

Экспертиза и репутация
Лидер российского рынка enterprise BI с кейсами у «Газпромбанка», «Магнита», «Леруа Мерлен» и других крупных игроков. Это не поставщик, а партнер, который понимает специфику российского бизнеса и готов к глубокой интеграции.

Гибкая архитектура
Поддержка гибридных развертываний (облако + локальная инфраструктура) — критично для compliance и требований InfoSec. Возможность подключения разнородных источников: от 1С до IoT-датчиков на технике.

Интерфейс и юзабилити
Для конечных пользователей (менеджеров, руководителей регионов) интерфейс оказался проще и интуитивнее альтернатив. Это снизило барьер внедрения и затраты на обучение.

Сообщество и поддержка
Большое комьюнити, доступное обучение, быстрая экспертная поддержка. Важно: легче найти специалистов, чем на экзотических платформах.


Архитектура решения: корпоративная шина данных

Мы не просто «подключили дашборды». Построили корпоративную шину данных на базе Visiology:

text

Источники данных → ETL/ELT → Единое хранилище → Витрины данных → Дашборды/Аналитика ↓ ↓ Контроль качества Мобильное приложение ↓ ↓ Метаданные и линейность Алармы и оповещения

Технические компоненты:

  • 10+ источников: 1С (бухгалтерия, управленческий учет), Bitrix (CRM), телематика (GPS/датчики техники), системы учета рабочего времени, Excel-файлы

  • Корпоративная модель данных: единая терминология, мастер-данные (техника, клиенты, сотрудники), линейность данных (от источника до дашборда)

  • Витрины данных: специализированные наборы для разных бизнес-направлений (операционная эффективность, финансы, продажи, техническое обслуживание)

  • Визуализация: еженедельные дашборды для оперативного управления, стратегические дашборды для C-level, мобильные дашборды для руководителей в полях

  • Мониторинг и алармы: мгновенные уведомления о критических отклонениях (простой техники, провала KPI, рисков безопасности)


Цифры и результаты: что изменилось за 12 месяцев

МетрикаБылоСталоИзменениеВремя подготовки отчетности3-5 дней2-3 часа-80%Достоверность данных80-85%95%+15%Количество источников данных10+ изолированных10+ интегрированныхЕдиная модельЧастота обновления данныхЕженедельноЕжедневно/в реальном времени+700%Время внедрения нового региона3-4 месяца2-3 недели-85%Процент ручных операций60%<10%-85%

Качественные изменения:

  • Руководители регионов получили доступ к своим дашбордам в реальном времени через мобильное приложение. Меньше вопросов к центральному офису — больше фокуса на клиентах.

  • Операционная эффективность: выявили 15% техники с низкой загрузкой, перераспределили между регионами, повысили доходность на 8%.

  • Стратегическое планирование: теперь видим не только историю, но и прогнозы на основе ML-моделей (Visiology встроенные алгоритмы).


Ключевые уроки для CIO

1. Начинайте с проблемы бизнеса, не с технологии
Мы не выбирали «BI-систему». Мы решали задачу: «Как управлять 2000 единицами техники в 22 регионах эффективно». Технология — это инструмент, а не цель.

2. Стройте корпоративную шину данных, а не просто дашборды
Дашборды без единой модели данных — это красивые картинки. Инвестируйте в построение единой терминологии, мастер-данных и линейности данных с первого дня.

3. Автоматизация > Визуализация
Визуализация важна, но главное — устранить ручные операции. 80% времени экономим не за счет «красивых графиков», а за счет автоматической интеграции и валидации данных.

4. Юзабилити для бизнеса — критичный фактор успеха
Если система требует 40 часов обучения — это провал. Выбирайте платформы, которые интуитивны для конечных пользователей. Иначе внедрение не взлетит.

5. Гибридная архитектура — не компромисс, а необходимость
Облако — быстрее, локально — безопаснее. Современные платформы должны поддерживать оба сценария. InfoSec и compliance не должны блокировать digital.

6. Масштабируемость — это не про «много серверов», а про «быстрое подключение новых бизнес-единиц»
Наша метрика: 2-3 недели на полное подключение нового региона. Если у вас это занимает месяцы — архитектура не готова к росту.


Что дальше: план на 2025-2026

Мы уже работаем над следующим этапом:

  • IoT-интеграция: подключение телематики напрямую к Visiology для предиктивного обслуживания техники

  • AI-ассистент для руководителей: нативная интеграция с мессенджерами для быстрых ответов «Почему падает выручка в регионе X?»

  • Расширение на экосистему: подключаем партнеров и поставщиков к нашей шине данных для end-to-end видимости цепочки


Заключение: почему это важно для CIO

В эпоху ИИ мир никого не ждет. Компании, которые продолжают решать «на глаз», уходят на обочину. А CIO, которые не могут предоставить бизнесу real-time аналитику, рискуют стать владельцами инфраструктуры, а не драйверами стратегии.visiology

ArLift — это не уникальный кейс. Это типовая ситуация для любой распределенной компании: розница, логистика, производство, сервис. Разница только в том, кто первым построит корпоративную шину данных и получит конкурентное преимущество.

Ваши действия сегодня:

  1. Посмотрите, сколько временя уходит на сбор отчетности в вашей компании

  2. Посчитайте, сколько ошибок в данных из-за ручного ввода

  3. Оцените, сколько дней уходит на подключение нового бизнес-подразделения к аналитике

Если сумма больше 5 дней и 10% ошибок — вам нужно срочно менять подход.

https://t.me/ciologia


Вопросы CIO в комментариях — отвечу, чем смогу. А на ViRush 2026 будем говорить про IoT и AI-ассистентов для управления техникой.

#CIO #BusinessIntelligence #DataDriven #Visiology #DigitalTransformation #EnterpriseBI

Показать полностью 2
Google analytics Bi Data Data Science IT Telegram (ссылка) Длиннопост
2
0
AiPapka
AiPapka
Аналитика данных

Создаем дашборд из таблицы с ИИ — подробно (графики и визуал)⁠⁠

12 дней назад

Если есть крупная таблица и хочется визуализировать ее. Найти скрытые закономерности и в целом обработать данные — то тут поможет ИИ

1/4

ЭТАП 1 ⬇

Создание текстового описания дашборда. Заполняем промт ниже и отправяем его в нейросеть

Задача: Спроектировать текстовое описание идеального интерактивного дашборда на основе структуры предоставленной таблицы данных.

ИНФОРМАЦИЯ ДЛЯ АНАЛИЗА:

1. Основная цель дашборда: [Опишите, что вы хотите понять с помощью этого дашборда. Например: "Отслеживать эффективность рекламных кампаний", "Анализировать продажи по разным категориям товаров", "Мониторить вовлеченность в Telegram-канале"]

2. Структура таблицы данных (столбцы): [Перечислите все названия столбцов в вашей таблице. Например: "Дата", "Название кампании", "Источник трафика", "Потраченный бюджет", "Количество кликов", "Количество конверсий"]

ТРЕБУЕМЫЙ РЕЗУЛЬТАТ (ТЕКСТОВОЕ ОПИСАНИЕ ДАШБОРДА):

Создай подробное описание дашборда, которое включает:

1. Ключевые метрики (KPI): Определи 3-5 самых важных показателей, которые должны быть на самом видном месте (например, "Общий бюджет", "Стоимость конверсии (CPA)", "Количество конверсий").

2. Рекомендуемые визуализации: Для каждого KPI и для анализа данных предложи лучший тип графика (например, "Линейный график для динамики конверсий по датам", "Круговая диаграмма для долей источников трафика", "Столбчатая диаграмма для сравнения бюджетов кампаний").

3. Интерактивные элементы: Опиши, какие фильтры нужны для удобной работы (например, "Фильтр по дате (выбор периода)", "Фильтр по названию кампании").

4. Структура и расположение: Предложи логичную компоновку дашборда (например, "Вверху — карточки с ключевыми KPI. Слева — панель с фильтрами. В основной части — главные графики").

ЭТАП 2 ⬇

Реализация дашборда, который создается из таблицы. Необходимо заполнить промт ниже + вставить его сюда

Создай дашборд, который будет обрабатывать данные на основе загруженной таблицы (файла) + [УКАЗАТЬ ФОРМАТ ФАЙЛА].

Требования к дашборду

[ВСТАВИТЬ РЕЗУЛЬТАТ ЭТАПА 1]

Готово!

После генерации появится работающий дашборд. Осталось только вставить данные. Свой результат приложил в картинках

НЮАНСЫ

1. Важно следить за форматом файла, я сталкивался с ошибками. У меня нейросеть потребовала файл формата tsv. Решил простой конвертацией тут

2. Если что, прямо на 2м этапе дашборд можно переделать по новому промту, правки неограниченны

ИИ не забирает работу — он забирает шансы у тех, кто не хочет учиться.
Веду канал про ИИ, найдете короткие, понятные разборы и гайды, чтобы быть на шаг впереди — ссылка в профиле пикабу)

Показать полностью 4
[моё] Искусственный интеллект Bi Визуализация данных Данные Аналитика
0
scutdusty
Аналитика данных

Творожок Часть 5 разбираемся с ETL и ELT⁠⁠

7 месяцев назад

Загрузка, причесывание итрансформация данных завершены, че с ними делать мы определились. Но что если данных овердохуя?

Задача: Выебать бабу и оставить ее в кровати.

У нас есть два подхода, которые зависят от комплекции бабы и размера кровати:

Если баба жирная, тяжелая, неповоротливая и сходу сложно понять, как ее выебать, а дома у тебя вместо кровати целый траходром – положи сперва ее на кровать, а потом разбирайся как будешь ее оприходовать. Ежели баба похожа на Дюймовочку, и всю одежду с нее можно просто сдуть, намного приятнее и быстрее начать ебать ее сразу, где ты ее застал. Тем более если у тебя односпальная кровать в которой тесно и одному. А потом уже можно и в кровать ее уложить отдыхать.

Если данные жирные и корявые – положи их сперва в хранилку (облака, озера и прочую хуйню), там их можно потом пилить и обрабатывать. Если данные худенькие и стройненькие – обрабатывай их на лету и после этого клади в хранилку.

В этом суть ETL и ELT подхода к обработке и хранению данных, где Extract – Едешь к бабе, L – Ложишь ее и T – трахаешь.

Если бабенка маленькая и низкорослая, то ты сразу сможешь дотянуться до всего что тебе надо. Если бабища настолько большая что до всего сразу и не дотянуться, то трахать ее тоже можно по частям разметив ее предварительно на слои (типа первый слой – это верх бабы и низ бабы, второй слой – жопа, пизда и рот). Гуглите ODS и DDS.

Продолжение следует…

Показать полностью
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Текст
0
2
scutdusty
Аналитика данных

Творожок Часть 4 Что случилось и что делать?⁠⁠

11 месяцев назад

После того как данные загружены, причесаны и трансформированы можно приступать собственно к самой аналитике. Возвращаемся к творожкам.

Итак...

Я открываю холодильник и вижу, что там есть 3 творожка. А вчера их было 5. А позавчера 8. А в прошлый понедельник их вообще не было.

Посчитайте оборачиваемость творожков, стоимость товарного запаса, постройте линейный график присутствия творожков в холодосе, творожковый индекс инфляции. Делая все эти манипуляции мы отвечает на вопрос "что случилось?". Это называется дескриптивная аналитика. По-русски - описательная. В ней описываются произошедшие события. Они крутятся, вертятся, дробятся, аггрегируются и блядь хуй знает чё с ними ещё делают аналитики, которые застряли на этом этапе. Описательный анализ не требует интенсивной работы головного мозга, так как все формулы вычислений расписаны лет 100, а то и 200 назад. Просто подставляй цифры в формулы, рисуй графики, придумывай KPI и натужно их достигай. Исключение составляют разве что задачи кластеризации и классификации.

Но нужно понимать  почему то или иное событие произошло, почему в одном месте рекорд, а в другом все пошло по пизде? Почему сегодня есть творожки, а в прошлый понедельник их не было. Почему вчера их было 5, а сегодня всего 3? На подобные вопросы отвечает диагностическая аналитика и применяется охуенный, но в то же время один из самых сложных инструментов - факторный анализ. Здесь от аналитика помимо его знаний в области непосредственно аналитики требуется ещё и знание предметной области. И те аналитики, которые либо имели опыт в каком-то конкретном бизнесе или тесно общаются с этим бизнесом имеют большую эффективность. О чем это я? В прошлый понедельник закончились творожки, потому что в предыдущее воскресенье все деньги были спущены на поход в кино, чипсы и Кока-Колу, магазин был закрыт, творожки все разобрали, дома все заболели и сходить было некому, холодильник сломался и некуда их складывать, наступил ядерный апокалипсис. Для факторного анализа основываясь на данных из дескриптивного анализа соединяем графики нахождения творожков в холодосе, их цену, график получения зарплаты, график походов в кино, график закрытия магазина, график частоты отсутствия на полках магазина необходимого товара, график профилактических прививок от всех болезней, график регулярного технического обслуживания холодильника, ну и наконец расписание ядерных апокалипсисов. Вводим во все это хозяйство минимум две одинаковых временных шкалы. Теперь мы начинаем сравнивать показатели в разных временных периодах в разрезе разных факторов, которые могли повлиять на те или иные показатели выявляя закономерности и делая выводы.

Если задрочиться, то на этом этапе можно въебать ML-ку для поиска аномалий и/или выделения неочевидных факторов.

Ну и что дальше? Сколько творожков у меня будет завтра? На этот вопрос отвечает преддиктивная аналитика. Собрав все данные из дескриптивной и диагностической аналитики мы можем построить графики трендов, временные ряды, и прочую прогностическую херню. Здесь простор для задрачивания математики, статистики, ML-моделей и всей прочей ботанской ебалы, которую вы прогуливали в институте.

Самой последней наиболее дорогой по баблу, но самой милой сердцу любого начальника идет предписывающая аналитика. И если преддиктивная аналитика отвечает на вопрос "что будет если нихера не менять?", то предписывающая аналитика отвечает на вопрос "что будет если что-то все таки поменять?" и "что делать?". И подобные вопросы типа "Как, когда, в каком количестве нужно делать, чтобы не проебать все полимеры". Само собой она основывается на предыдущих трёх уровнях аналитики, типа в субботу нужно купить 12 творожков на сумму 768 рублей, потому что в запасе ещё 3 творожка, прогнозируемое потребление - 2.5 творожка в день, зарплата в пятницу, по субботам скидки, а в магазин в следующий раз мы пойдем в лучшем случае в четверг. Здесь аналитику придется смотреть на бизнес уже глазами руководителя.

Руководитель будет полагаться на предписывающую аналитику в принятии решений, но не руководствоваться ей, иначе он не руководитель, а обезьяна, потому что профессиональная чуйка (не учтенные в модели факторы) может дать лучшие результаты, чем самый лучший расчет.

Продолжение следует...

Показать полностью
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост Текст
3
5
scutdusty
Аналитика данных

Творожок Часть 3 Ты нормальный вообще?⁠⁠

11 месяцев назад

Этот вопрос периодически мне задают. У нормальности есть разные критерии и формы. И, немного отодвинув в сторону тему творожков из Поста1 и Поста2 я вам расскажу, что такое нормальный.

Итак.

Знакомьтесь,

Андрей Васильевич - работает директором фирмы “Костромские дилдо”

Елена Афиногенова - жена Андрея Васильевича, домохозяйка

Виталий Тимофеевич - работает директором фирмы “Костромской лубрикат”.

Алевтина Сергеевна - жена Виталия Тимофеевича, работает секретарем в фирме “Костромские дилдо”.

Василий Петрович - техник в фирме “Костромской лубрикат”.

Василиса Рубиковна - курьер в компании “Костромской лубрикат”.

Елена Афиногенова -  немолодая женщина требующая от мужа выполнения супружеских обязанностей. По этой причине Андрей Васильевич вынужден поебывать ее в домашних условиях долгими костромскими вечерами. Но при этом ему намного приятнее поебывать также и Алевтину Сергеевну в своем уютном офисе.

Виталию Тимофеевичу изредка перепадает женской ласки от Алевтины Сергеевны.

Василиса Рубиковна недавно устроилась курьером, и мотается с документами между фирмами, разводя шашни с местным персоналом и периодически ебется в офисах то с Андреем Васильевичем, то с холостяком Василием Петровичем.

Ну а Василий Петрович периодически захаживает домой к ненасытной Елене Афиногеновне, пока ее муж снова "задерживается на совещании".

Все данные выше можно свести в табличку с данными о том, кто кого ебет.

Творожок Часть 3 Ты нормальный вообще?

С точки зрения реляционной базы данных перечисление через запятую или другой разделитель в одной строке - это полная залупа, так как чтобы вытащить данные о том, с кем ебется например Елена Афиногенова - нужно будет расшивать каждую ячейку в столбце. И это с любой точки зрения не нормально. Точнее не нормализовано. Поэтому избавляемся от запятых.

Творожок Часть 3 Ты нормальный вообще?

Теперь те кто ебет и те кого ебут находятся в соответствии один к одному. Это называется первая нормальная форма.

В следующей таблице данных все акты соития по датам.

Творожок Часть 3 Ты нормальный вообще?

В этой таблице избыточная информация, потому что имена ебырей и названия фирм в которых они работают зависят от ключа ID, такая же хуйня и с именами блядей.

Поэтому для ебырей и блядей создаем отдельные таблички.

Творожок Часть 3 Ты нормальный вообще?

Это называется вторая нормальная форма.

Однако, в табличке с ебырями у нас от ID зависит имя ебыря, а от него зависит название фирмы ебыря (по научному транзитивная зависимость). В третьей форме такой хуйни быть не должно. Поэтому создаем табличку с фирмами. Это будет третья форма. Рисовать впадлу и так вроде все понятно.

Есть еще Бойс-Кодд нормальная форма (та же третья форма, только более жесткая), где все зависимости должны быть от ключа.

Есть еще четвертая форма, где избавляются от многозначных зависимостей. Типа если Василий Петрович ебется с Василисой Рубиковна в офисе, а с Еленой Афиногеновной дома - то это нужно тоже разносить по разным таблицам.

Есть еще пятая нормальная форма, где если  Елена Афиногеновна ебется только дома, а Алевтина Сергеевна и дома и в офисе, то это тоже должно быть вынесено в отдельную таблицу кто где ебется.

Но это уже не так важно как первые три формы.

Вобщем есть две крайности. Первая - это невъебовая таблица где хранится вообще все, вторая - это куча таблиц атомизированных до ключ-значение. И то и другое хуево, потому что в первом случае хуй отмасштабируешь, а во втором заебешься обслуживать. Везде нужно искать золотую середину.

А вообще сильно связанные данные типа “Вася ебется с Леной - Лена ебется с Колей и все вместе они учатся в одном ПТУ” - лучше всего хранить в графовой базе. Но об этом как-нибудь в другой раз.

Продолжение следует…

P.S. Все персонажи вымышленные, все совпадения случайны, Кострома - охуенный город.

Показать полностью 4
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост
0
6
scutdusty
Аналитика данных

Творожок Часть 2 Я календарь переверну⁠⁠

11 месяцев назад

Те кто прочитали предыдущий пост - молодцы, те кто не прочитал - вкратце расскажу что здесь происходит. Я собрал инфу обо всех своих покупках в магазинчике за год и делаю аналитику того, как я и моя дочь хаваем творожки.

Итак…

Еще маленько причесав данные, рассчитав цену из стоимости и количества, отделив перед этим единицы измерения от мер делаем первую визуализацию в виде графичка. В каком количестве я покупаю творожки по дням.

Творожок Часть 2 Я календарь переверну

8 августа я купил 13 творожков. Нихера себе, с запасиком. И не ходил после этого в магаз в магаз целых… хуй знает сколько дней. Надо щели сделать между столбиками,чтобы видеть дни, когда я не ходил в магазин. Для этого нужно разметить ось X всеми датами которые только возможны между первой и последней покупкой (а может и больше). И для этого в свою модель данных с покупками я щас въебу календарь.

Есть один секрет, как быстро сделать календарь для любой аналитической системы. Сейчас я вам его открою. Заходите в гугл и забиваете в строку поиска “Мастер календарь для /название вашей аналитической системы/”. После этого тыкаете во вторую, третью или максимум четвертую ссылку, пиздите оттуда код, вставляете его к себе, запускаете и Вуаля! Наш календарь готов! Осталось только соединить его с моделькой прислюнявив даты из календаря к датам покупочек.

Творожок Часть 2 Я календарь переверну

Обратите внимание на названия полей в модельке. Так делают хорошие разрабы. Так делают хорошие аналитики. Так делаю я. Так не делают долбоебы, у которых потом поле “количество” хуй пойми откуда взялось - из продаж, наличия на складе или пиздюлей, которых он огребает за такой нейминг.

Особый писк - это автоматический программно-генерируемый файл календаря, который затем прислюнявливается ко всем аналитическим приложениям. В него при необходимости можно въебать курсы валют на каждый день, производственный календарь, график менструаций в бухгалтерии и прочее.

Творожок Часть 2 Я календарь переверну

Выглядит конечно уебищно, но зато все видно.

Продолжение следует…

Показать полностью 3
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост
0
9
scutdusty
Аналитика данных

Творожок Часть 1 QA⁠⁠

11 месяцев назад

Я год ждал пока кто-нибудь напишет в сообщество “Аналитика данных” пост про аналитику или про дата менеджмент. Хуй там валялся. Пара каких-то постов ни о чем. Придется самому писать.

Итак.

Речь пойдет о творожках… Почему о творожках, спросите вы. И я с удовольствием отвечу: потому что я и моя дочь едим их на завтрак и иногда в течении дня. Бывают ситуации когда открываешь холодильник, с вожделением протягиваешь руку к прохладной пластиковой баночке, а там хер. Нету ничего. Закончились творожки. Для того чтобы избежать подобной ситуации в будущем - ее нужно уметь прогнозировать.  А какой может быть прогноз без аналитики?

Творожки я покупаю в большом сетевом магазине, по традиции Пикабу назову его так:  начинается на "Пере" и заканчивается на "кресток". Особо пытливые умы думаю догадаются. Каждый раз когда я там пробиваю покупку на кассе, подсовываю скидочную карту, в надежде получить скидочки. В это время заботливый сервер сохраняет список моих покупок. Поэтому зайдя в личный кабинет магазинчика - я могу посмотреть когда, чего, сколько и за сколько деняк я все покупал.

Скопировав эти данные я получил сырой датасет.  Дата, че купил, сколько и за сколько.

Питончиком причесываем данные и приводим в съедобный вид:

И первое что делает аналитик с сырыми данными - изучает их. И поэтому первое что мы разберём - это QA (качество) данных.

Данные проверяются по принципу “КОролевской СОбаке ТОчно ПОхуй на СВОю УНикальность”.

КО - корректность. Проверяем, что в колонке количество у нас числа, а не слово “хуй” например.

СО - согласованность. Если в сырых данных написано “творожок Блядисимо”, нехуй его сокращать или переименовывать, потому что если они попадут в разные таблицы или базы данных вы потом хер поймете один и тот же это творожок или разные.

ТО - точность. Если творожок стоит 63.99 это значит за два творожка я отвалю 127.98, а не 128 рублей. Ясно вам, Округлятели херовы?

ПО - полнота. Забегая вперед скажу, что на творожки за этот год я потратил 26 тысяч рубасов. Сам охуел если честно. Больше всего творожков пришлось на октябрь. Я бы не смог посчитать этого если в данных нет даты или названия продукта.

СВО - своевременность. Данные собрал с 1 декабря прошлого года до 1 декабря нынешнего. На следующий год пересчитаю за полный год. Будет своевременно. И красиво. 

УН - уникальность. Данные не должны дублироваться и чтобы не охуеть от двойных и тройных сумм в дашборде - создаем ключи и ID везде, где это возможно. Легче потом отследить от какой жопы те или другие ноги.

В любом случае в больших организациях за качество данных отвечает владелец бизнес-функции (начальник продаж, начальник закупок, начальник логистики и прочие шишки), а в очень больших - Data Quality Engineer. Поэтому если закупщики при создании карточки товара въебут килограммы туда где должны быть граммы и “хз” туда где должны быть сантиметры - то вместо кучи интересной информации бизнес-пользователи получат кучу говна. И это должна быть проблема бизнес-функции, а не аналитика, который по мнению бизнес-пользователей должен всю эту херню вылавливать и причесывать.

Продолжение следует…

P.S. Где тег "Творожок"?

Показать полностью 3
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост
1
rick1177
rick1177

Плохие визуализации для аналитических панелей⁠⁠

1 год назад

Хочу поделиться своим эмоциональным состоянием и попросить совета знатаков.

Мной был для предложен визуальный элемент для отображения информации о том, как изменилась рейтинговая позиция участника. Элемент выглядел следующим образом.

Внизу указывались участники и в целом всё было понятно. Однако, начальство сказала, что это отвратительный вариант, поскольку слишком много свободного пространства по углам. Мы попытались покрутить график в разные стороны и что-то с ним сделать, но лучше не стало.

Ок, ещё подумали и попытались перерисовать... что-то типа такого... ну т.е. рейтинги и движение.

Опять не зашло, вообще не привлекло внимание.

Рылся в сети, искал варианты, но что-то всё не подходит.

Впал в апатию. Прошу помощи с подбором красивого визуала))

Показать полностью 1
Вопрос Помощь Дизайн Bi Визуализация
4
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии