Excel -- величайшая программа, с помощью него можно править миром. Я использую его ежедневно, и он незаменим для разовых задач, пока...

Пока у вас меньше миллиона записей и в пределах десятка пользователей и не нужно работать с мобилы, и ваши сотрудники не воруют базу, и не нужно делать сложных запросов к данным, и вы не устали клонировать дни/недели/месяцы на разные листы и вам нет необходимости поставить его в локальной сети и он ещё не тормозит от количества вычислений. И так далее.

Хочу открыть серию постов про альтернативу отечественного производства, которой я пользуюсь для автоматизации рутинной работы и расчетов, с которыми не справляется эксель.

Типичный случай

Например, 400 тысяч сделок по продаже медицинского оборудования, по которым мне надо сделать обзвон клиентов, которые покупали что-то на общую сумму не меньше 5000 рублей от 1 до 2 лет назад и с тех пор ничего не покупали. Разбудить спящих и поднять выручку.

Для эксперта Excel такая задача не кажется сложной, и он выполнит её за пару-тройку часов, из которых большая часть уйдет на нормализацию данных.

Проблема в том, что задача эта повторяющаяся и тут — А-а-а!

Разумеется, когда эксперту на следующей неделе сделают следующую выгрузку этих данных со сдвигом в 1 неделю, то он будет всячески отлынивать от этой работы — заново всё нормализовывать, растаскивать формулы, устранять косяки и прочей рутины на несколько часов. Поэтому часто спящие клиенты спят дальше или обзвон идет по неактуальной базе, выбешивая клиентуру, или реализуется иной путь упущения прибыли.

Альтернативы здесь: заказная разработка на языках программирования или суррогаты экселя, которых много и они всё множатся. Например, можно настроить формулы в Airtable или даже Notion, а потом используя винегрет из ноукод-инструментов даже запустить вычисления и перенос данных с помощью make или n8n.

Я рассказываю о ещё одной альтернативе: вся мощь реляционной базы данных с интерфейсом, более-менее привычным пользователю экселя.

Конструктор Интеграм

Что за зверь Интеграм? Это ноукод-конструктор баз данных и приложений, в котором хорошо прокачана первая часть — про базы — и можно делать простые приложения для непритязательного пользователя.

В первый раз я его попробовал будучи совладельцем пары бизнесов, где администраторы присваивали себе часть выручки самыми хитроумными способами, большинство из которых сводилось к оформлению клиентских оплат задним числом.

С тех пор я использую этот инструмент в разных проектах, в том числе для заказной разработки, которой я в своё время активно занимался. Интеграм доступен в виде бесплатного облачного сервиса, где можно начать с чистого листа, как в экселе. Обычно всё и начинается с листа экселя, который я импортирую в сервис.

Если коротко, то процесс программирования такой:

1. Загружаем эксель в систему универсальным средством импорта

2. Дорабатываем структуру данных под себя

3. Настраиваем отчеты для вычисления, сортировки и группировки

4. Накликиваем формы для отображения данных и графиков

5. Заводим пользователей и раздаем права

Платформы всё-в-одном

Конструктор Интеграм относится к классу систем всё-в-одном, в котором на сегодня есть всего 3 используемых в России продукта: 1С, bubble.io, coda.io. Первый из них вы наверняка хорошо знаете, а два последних уже недоступны без vpn.

Всё-в-одном означает объединение всех аспектов разработка: фронтенд, бэкенд, база данных (БД) и интеграции. Под фронтендом имеется в виду создание произвольных форм, а не предварительно заготовленные представления и шаблоны.

Как эти ни странно, игроков, у которых есть все эти составляющие, больше нет (если есть, а я мог упустить, буду рад услышать их имена в комментариях):

1. Конструктор произвольной структуры реляционной (со связями) БД

2. Конструктор запросов к данным и логики их обработки

3. Конструктор произвольных форм и шаблонов

Есть множество прекрасных систем для создания баз данных, есть конструкторы веб-страниц и форм, но вот связать это всё в единое приложение и оживить пользовательской логикой без программирования больше нигде не удастся. Программировать бэкенд и логику придется на PHP, Javascript, Python или чём-то подобном.

При всей своей внешней неказистости Интеграм дает более продвинутые возможности для обработки данных, чем это доступно в любом конструкторе, и вполне сравнимые по мощности с традиционными средствами разработки. Например, конструктор SQL-запросов дает всю мощь реляционной базы данных, включая вложенные запросы и рекурсию.

Вот примерный порядок работы при создании приложения в конструкторе:

Пока это неизвестный широким массам конструктор, но команда активно занимается его продвижением. Я бы хотел поблагодарить этих людей за огромное количество времени и сил, сэкономленных при использовании конструктора, и могу помочь вам с его освоением бесплатно и даже без партнерской ссылки. Обращайтесь.

Спасибо!

При обработке статистических данных очень важной задачей становится оценка взаимосвязей между различными переменными. Один из самых популярных способов измерения такой связи — использование коэффициента корреляции Пирсона (Pearson correlation coefficient). Обозначаемый символом r, он представляет собой меру линейной зависимости между двумя величинами. Несмотря на широкое распространение данного метода, важно учитывать специфику реализации этого показателя в разных инструментах обработки данных, таких как системы управления базами данных (СУБД) вроде PostgreSQL и программы электронных таблиц, такие как Microsoft Excel.

Формула коэффициента корреляции Пирсона

Значение коэффициента варьируется от -1 до +1, где положительные значения указывают на прямую связь, отрицательные — на обратную, а близость к нулю свидетельствует об отсутствии значительной линейной связи.

Особенности расчета коэффициента корреляции в PostgreSQL и Excel

Теперь рассмотрим некоторые важные аспекты применения данной формулы в реальных условиях, когда значения одной переменной остаются неизменными по сравнению с другой переменной.

1. Особенности расчета в PostgreSQL

PostgreSQL предоставляет удобную встроенную функцию corr(), позволяющую легко вычислить коэффициент корреляции Пирсона прямо внутри базы данных. Тем не менее, при её применении важно учитывать ряд нюансов:

Отсутствие вариации: Если все значения одной переменной полностью идентичны (то есть стандартное отклонение равно нулю), знаменатель формулы становится нулевым, вызывая деление на ноль. В результате функция вернёт неопределённое значение (NULL).

Численная нестабильность: Когда изменение одной переменной намного меньше, чем другой, возможно возникновение проблемы числовой стабильности. Компьютерная система работает с ограниченным числом знаков после запятой, поэтому малые разности могут быть усечены до нуля, искажая результаты расчётов.

Чтобы избежать подобных проблем, целесообразно заранее провести проверку на наличие дисперсии в данных, используя стандартные функции PostgreSQL, такие как stddev(). Эта мера позволит убедиться, что обе переменные имеют достаточно выраженный разброс значений.

2. Особенности расчета в Excel

Microsoft Excel предлагает аналогичную возможность для вычисления коэффициента корреляции посредством функции CORREL() / КОРРЕЛ(). Здесь также существуют свои тонкости:

Ошибка деления на ноль: Подобно PostgreSQL, если значения одной переменной абсолютно одинаковые, Excel столкнется с ошибкой деления на ноль и выведет сообщение "#DIV/0!".

Различия алгоритмов округления: Хотя основная математическая формула та же самая, внутренние механизмы работы Excel могут немного отличаться от других инструментов. Это связано с особенностями машинного представления вещественных чисел и процедурами округления промежуточных результатов. Эти отличия способны приводить к незначительным, но всё-таки заметным колебаниям в конечном ответе.

Ограничения по представлению чисел с плавающей запятой: Особенно это проявляется, когда масштабы сравниваемых переменных сильно различаются (например, большие числа цен товаров против небольших процентов скидок). Округление промежуточных шагов способно исказить итоговый результат.

Заключение

Итак, правильный подход к оценке коэффициента корреляции требует внимательного рассмотрения характеристик самих данных. Важно понимать структуру информации, подлежащей анализу, проводить предварительные проверки на наличие достаточной вариативности в обоих параметрах и избегать серьёзных перекосов в масштабах значений. В противном случае результат может оказаться неверным или интерпретироваться неправильно. Таким образом, аккуратность и тщательность подготовки данных являются залогом надёжности любых последующих выводов.

Дополнительные материалы по теме:

Особенности расчета коэффициента корреляции в PostgreSQL