Вы когда-нибудь смотрели на таблицу с пятью тысячами строк и думали:
«Вау, какой кайф, пойду проведу вечер с бокалом чая и этими загадочными циферками»?

Нет? А зря. Потому что данные — это современная нефть. Только в отличие от нефти, они не заканчиваются, а появляются с каждым кликом, лайком и просмотром.

Ну и что за данные?

Данные — это всё, что вы делаете в интернете (и не только).
📦 Сколько человек купило носки в красную полоску.
📱 Сколько времени вы листали ленту, забыв зачем вообще открыли приложение.
🫥 Какой заголовок заставил вас кликнуть на статью, хотя вы уже трижды на неё попадались.

Если у компании нет данных — у неё нет ничего. Только надежда и вера в интуицию.
(Интуиция, как известно, работает до первого серьёзного факапа.)

А зачем их вообще анализировать?

Потому что иначе все решения принимаются по принципу «ну вроде норм».
А «вроде норм» — это прямой путь в «а почему всё развалилось?».

📊 Анализ данных — это когда вместо догадок у вас есть факты, цифры и чёткое понимание, что именно сломалось (и как это починить).

Пример из жизни:

• Без анализа: «Пользователи почему-то уходят с сайта, странно...»

• С анализом: «80% новых пользователей покидают сайт уже на первом экране, потому что им в лицо выскакивает всплывающее окно с анимацией и текстом, который невозможно прочитать. Убираем окно — удержание растёт».
  (Да, анимированные "приветики" и кислотные шрифты отпугивают сильнее, чем забытый тег <title>.)

А что будет, если не анализировать?

Будет весело, но больно.

🕳 Сайт может не работать 3 дня — и вы об этом даже не узнаете.
Пока не заглянете в данные: число визитов резко упало, время на сайте — ноль секунд, а в логе ошибок весёлое сообщение типа 500 Internal Server Error.
(Поздравляю, вы всё это время показывали пользователям белый экран. Или, если повезло — грустный смайлик.)

🎭 Вы будете думать, что пользователям всё нравится.
Потому что никто не жалуется. А потом глянете на активность и увидите, что 90% "активных" пользователей — это люди, которые просто забыли выйти. Не пользуются, не нажимают, просто числятся.
(Никакого восторга, просто забыли.)

Ну и кто вообще этим занимается?

Аналитики.
Эти странные, но полезные ребята, которые дружат с таблицами, графиками и странными словами вроде "SQL".
Они как детективы: смотрят на следы в виде чисел и находят, кто сломал воронку продаж.

Я была аналитиком клиентских данных. В мои задачи входило сформировать актуальные персональные данные по клиенту. Не смотря на то, что клиент может прийти из разных каналов, в разное время, у него часто меняется персональная информация: паспорт, телефон, адрес, email и т.п. Необходимо было на выходе выдать карточку клиента, в которой находилась актуальная и качественная информация. А уже на основе этой карточки клиента собирался клиентский профиль. В простонародье "Клиент 360". И в этот профиль уже могла входить другие показатели: продуктовые, финансовые, аналитические, социальные и т.п. И вот в этом месте уже можно было применять "творчество".

Так что если вам кажется, что данные — это скучно, просто помните: они уже знают, какой фильм вы посмотрите следующим, какую еду закажете, и когда в последний раз открывали этот пост.
И знаете что? Они почти всегда правы.

Для чего весь этот спичь..? А для того, чтобы вспомнить, что может аналитика данных. И какой не огранённый алмаз "эти ваши данные".

Если помните, то у меня сейчас состояние эмоционального выгорания. Вот тут начало моего пути в этом состоянии.

Python — это мощный инструмент (для дома для семьи) для автоматизации рутинных задач, особенно когда речь идет о работе с большими объемами данных. В этом посте я хочу рассказать задачку от владельца магазина на WB.

При реализации проекта автоматизации по обновлению цен и остатков на маркет плейсе WB (вайлдберриз), я столкнулся с задачей: как связать базу данных артикулов продавца и поставщика, так как из общих полей было название продукта и совпадение было не полным, например: "НАД-5 STAR COSMETIC ЗУБН ПАСТ ОСНОВ НА ТРАВ С ЭКСТР НОНИ 25 гр-3 шт" и "5 STAR COSMETIC ЗУБНАЯ ПАСТА ОСНОВ НА ТРАВАХ С ЭКСТРАКТОМ НОНИ 25,0". В прайсе поставщика 30 тыс. артикулов, а у продавца 5.5 тыс. позиций и в ручную связывать артикулы это... И тут на сцену выходит Пайтон!

Представьте, что у вас есть два файла Excel: seller.xlsx и supplier.xlsx. В первом файле есть пустой столбец "Наименование поставщика", который необходимо заполнить значениями из столбца "Название" второго файла. Задача усложняется тем, что нужно найти максимально совпадающие значения по последовательности букв из столбца "Артикул продавца" в файле seller.xlsx. Поскольку позиций более 30 тысяч, важно максимально эффективно использовать оперативную память и многопоточность.

Бонусом, для менеджера магазина, стал файл эксель в котором можно использовать функцию ВПР, для автоматического проставления цен из прайса поставщика.

upd: немного кода

Мои сети - https://t.me/apicraft, https://www.youtube.com/@jspytop, http://apicraft.ru/

Так случилось, что сменил я марку смартфона с самсунга на рилми, сбыл самсунг на авито и только после этого обнаружил, что все мои контакты, любовно собираемые последние 15 лет, синхронизировались не через гугл, а через самсунг-аккаунт (да, сам идиот).

Ну, думаю, не беда, облака ж они и есть облака - запросил у samsung privasy выгрузку всего содержимого аккаунта (38 томов архива по 500мб, яебал...), нашёл там папку Contact, а в ней энное количество файлов CVS, в каждом по 200 контактов.

А дальше пошло дерьмо. Я попытался загрузить эти файлы в Google Контакты и оказалось, что имена контактов он видит нормально, а собственно номера телефонов - ну, короче как-то так)

То есть выкинул номер в заметки. Значит, что-то не так со столбцами. Поэтому я пошёл в excel 2019, создал пустую книгу и через вкладку "Данные" - "Из текстового/CSV..." загрузил файл туда.

Получил следующую картину:

И поближе:

Т.е. номера телефонов существуют, они отображены нормально, они единообразно размещены в маске "data1":"блаблабла", но в столбце эта информация соседствует с кучей технического барахла, которого там явно не должно было быть.

В связи с чем два вопроса:

A. Что я сделал не так и была ли возможность открыть этот файл нормально, чтобы столбцы распределились адекватно и номера выделились в столбец сами?

B. Что я могу сделать, помимо ручной работы, чтобы выкинуть из столбца всё лишнее, кроме маски "data1":"блаблабла"?

Там всё-таки семь файлов по 200 строк, вручную как-то ну вообще совсем не хочется...

UPD. Получившийся файл, в котором слегка изменены сами номера и оставлены для образца только несколько строк: https://dropmefiles.com/hWzxZ

Чтобы копать, нужна лопата. А чтобы делать хорошие отчёты, нужны инструменты аналитики. Рассказываем про самые актуальные и полезные из них, которые пригодятся как аналитикам, так и вообще всем, кому по работе приходится делать отчеты и таблицы.

Excel

Самый распространённый помощник для аналитики. Ведь он прост в использовании, подходит для решения разных задач, а облачный аналог (Google-таблицы) ещё и бесплатный.

Excel нужен и бухгалтеру, и менеджеру, и экономисту. В программе без труда можно быстро посчитать расходы, построить финансовую модель или визуализировать данные.

Помните, какой ажиотаж вызывает тот человек, который знает формулы Excel? Им можете стать и вы на курсе «Excel и Google-таблицы: от новичка до эксперта». За две недели вы изучите все нужные горячие клавиши и ходовые формулы, и ежеквартальные отчёты перестанут быть задачей на весь рабочий день. Больше никаких мучений — только польза от функционала.

SQL

По мере развития компании данных становится больше, из Экселя она «вырастает» и переходит на СУБД (систему управления базами данных). Если и ваши задачи стали выходить за рамки сводных таблиц в Excel, то вам пригодится SQL — язык запросов к базам данных. Его используют как для внесения информации, так и извлечения нужных данных из сотен и тысяч строк.

Научиться составлять запросы на SQL и вывести свою аналитику на новый уровень можно на курсе «SQL с нуля для анализа данных». Обучение займёт 3–4 недели, и вы сможете стартовать в карьере аналитика , ведь именно этот язык используется в базах данных, на которых работает большинство компаний.

Хотите прокачать себя как аналитика данных и освоить все необходимые инструменты: Excel, SQL, Power BI и даже Python? Специально для таких амбициозных аналитиков в Академии Eduson есть курс «Инструменты аналитики данных», где вы в комфортном темпе освоите всё необходимое за 4 месяца. И сможете не только составлять простые отчёты в Excel лучше всех коллег, но и работать с большими данными как профессионал.

А тех, кто хочет сделать аналитику своей основной деятельностью, приглашаем на курс «Аналитик данных».

Power BI

Представьте, что специалист покончил со сбором и обработкой данных, которые просил подготовить начальник. Получилась таблица в сотни строк и десятки столбцов. Специалист пойдёт с ней к руководителю?

Надеемся, что нет — эти данные нужно наглядно визуализировать. И с этим поможет Power BI — инструмент, который забирает данные из платформ аналитики (MySQL и других источников) и преобразует их в графики и диаграммы. Овладеть Power BI можно на курсе от Eduson и использовать визуализацию в очётах, презентациях и докладах, чтобы нагляднее представлять результаты работы начальству.

Python

Python для работы с данными в основном используют айтишники. Например, специалисты по Data Science, чтобы работать с большими данными и строить прогнозы. Дата-сайентист на основе информации в БД может анализировать поведение клиентов компании и предугадывать их дальнейшие действия. Звучит как магия, но это — аналитика 80 уровня.

Если пользоваться библиотеками, то есть шаблонами с готовыми кусками кода, то получить результаты глубокой аналитики будет гораздо проще.

Научиться использовать Python не только для аналитики, но и для разработки ПО, можно на курсе «Python-разработчик».

Все эти и многие другие навыки можно освоить в Академии Eduson— №1 в дополнительном образовании по версии Smart Rankings. Наши курсы позволят с нуля погрузиться в IT, финансы, бухгалтерию, маркетинг, HR и многие другие востребованные профессии.

Освоить аналитику