user10757672

В большинстве компаний различные конфигурации 1С выступают центральными источниками финансового и операционного учета. 1С точно, последовательно и в соответствии с законодательством отражает данные по ключевым процессам бизнеса.

Обычно 1С используют и для формирования ежеквартальной или ежегодной управленческой отчетности: каждое подразделение просто выгружает необходимые таблицы и отправляет руководству отделов производства, финансов, коммерции.

Но такой подход может работать только в небольших компаниях, при масштабировании бизнеса отчеты начнут неизбежно расходиться между отделами, данные устаревать, а решения приниматься несвоевременно.

В этой статье разберем, что же не хватает в 1С для гибкой управленческой аналитики, каким образом BI помогает перейти от сухой отчетности к ценным инсайтам, и как превратить 1С в полноценный источник данных для BI с помощью коннектора Денвик.

Какую аналитику предлагает 1С

Прикладные решения 1С охватывают функции продуктов классов ERP, CRM, HRM, SCM.
В системе хранятся данные бухгалтерского и налогового учета, данные о производственных процессах, продажах и маркетинге, логистике и закупках, которые ценны для аналитики.
Как правило, сотрудники решают задачу аналитики просто — делают выгрузки из 1С в Excel с помощью функции «Рассылка отчетов» или используют встроенную 1С:Аналитику.

1. Рассылка отчетов

При использовании этой функции формируется таблица с отчетом, в которой настраиваются все нужные поля и период.

Несмотря на простоту, у способа есть существенные минусы:

• Потеря актуальности

Выгрузка отражает данные на момент сохранения. Через день или час информация уже устаревает, а для анализа в динамике нужно скачивать и сопоставлять таблицы за разные периоды.

• Ручные корректировки

Для формирования общего отчета, например, для нескольких подразделений, данные правят, чистят, сводят вручную. В итоге показатели в разных отделах расходятся.

• Сложность для восприятия и анализа

Выгрузки из 1С – это таблицы, и если найти и сравнить вручную 2-3 значения из них еще возможно, то десятки и сотни – нет.

• Отсутствие единого контекста

1С — не единственный источник данных в компании. Чтобы получить полное представление, нужно объединить данные из различных информационных систем, например, CRM, маркетинговых платформ, ERP и других.

• «Плоская» картина бизнеса

Формат таблиц не подходит для детализированной, глубокой аналитики, не показывает динамику показателей в разрезах (по клиентам, регионам, каналам), связь между операционными и финансовыми показателями, план-фактное отклонение в реальном времени и т.д.
Любой нестандартный отчет потребует доработок и привлечения 1С-программиста.
1С — система для учета, а не для анализа, и по итогу выгрузок компания получает не управленческую аналитику, а набор статичных таблиц, собранных «на глаз».

2. 1С:Аналитика

Для бизнес-аналитики 1C предлагает и собственный BI-продукт – 1С: Аналитика, который является конфигурацией платформы 1С: Предприятие.
1С: Аналитика работает как часть интерфейса и позволяет создавать отчеты, графики и диаграммы на основе данных из 1С.

Поскольку 1C: Аналитика — это часть уже установленной системы, для выгрузки и загрузки данных из приложений 1С нет необходимости использовать сторонние системы.
Но при кажущейся доступности визуализации данных продукт от 1С имеет ряд ограничений:

• Анализ ограниченного среза данных

Все данные для 1С: Аналитика должны быть строго в базе 1С, причем источником может выступать только одна база, которая должна быть опубликована на веб-сервере

• Ограничение в преобразовании данных

1С: Аналитика не хранит данные и способна визуализировать их только без предобработки. Все расчеты и преобразования в системе нужно делать средствами платформы 1С, в базе 1С

• Схема и модель данных

В 1С: Аналитика нет понятия модели данных, для связи нескольких таблиц создается новый запрос и формируется новый источник в базе 1С

• Ограниченный набор визуализаций

В системе ограничен набор встроенных визуализаций - только таблица и диаграммы, чего не хватит для наглядной демонстрации различных сценариев аналитики

1C: Аналитика может быть хорошим вариантом для формирования ежедневной отчетности из решений 1С, но не сможет в полной мере закрыть потребности управленческой отчетности.
_____

В результате при выгрузке Excel или использовании 1С:Аналитики управленческие решения принимаются по неполным данным.
Стандартные отчеты 1C оказывается тяжело адаптировать, сложные выборки замедляют систему, а любое изменение стандартной выгрузки требует вмешательства программиста.

Управленческие дашборды в BI: переход от учета к управляемости

• Выручку, себестоимость, прибыль по направлениям, подразделениям компании, периодам

• Маржинальность по продуктам, каналам, регионам, проектам

• План-факт и динамику расходов

• Дебиторскую и кредиторскую задолженности

• Денежные потоки (Cash Flow) — план / факт / прогноз

• Рентабельность инвестиций (ROI, ROE, ROS)

• Показатели простоев и загрузки подразделений

• …и другие метрики

Для создания такой отчетности требуется объединить данные из 1С и других систем и визуализировать их в едином пространстве – BI-дашбордах.

С помощью BI-системы можно построить управленческие дашборды для разных направлений:

• Дашборд CEO / собственника

Отражает ключевые KPI по компании (EBITDA, выручка, рентабельность, маржа, cash flow)

• Дашборд коммерческого директора

Позволяет оценить показатели продаж, динамики клиентов, результатов маркетинговых кампаний, прогнозы спроса

• Дашборд финансового директора / CFO

Включает в себя отчеты P&L, баланс, структуру затрат, план-фактный анализ

• Дашборд операционного директора / директора по производству

Отражает ключевые операционные процессы, SLA, производительность, запасы и т.д.

Главной сложностью реализации комплексной управленческой аналитики в BI становится выгрузка данных из 1С.

Компания 1С ставит целью реализовать отчетность внутри своей экосистемы, и извлечь данные из нужных баз 1С в BI быстро, без ограничений объема и привлечения программиста практически невозможно.

Прямое подключение к SQL-базе 1С трудоемко и нарушает лицензионную политику решения. Такой способ может привести к изменениям в нормальной работе платформы, разрушению БД и отказу 1С в техподдержке. К тому же при внесении изменений в систему придется каждый раз повторять запрос к БД и выгружать все целиком.

Кроме прямого подключения возможны способы:

• Построить свою аналитическую SQL-базу

• Вручную выгрузить файлы XLS/CSV/XML

• Загрузить данные по протоколу OData

• Использовать COM-соединение

• Внедрить 1C:Шину

Каждый из этих способов имеет свои плюсы и минусы, но все они дают нестабильный и трудозатратный результат.

Задачу выгрузки больших объемов данных из 1С в BI решает готовое решение - Экстрактор от Денвик.

Как извлечь данные из 1С в BI с помощью Экстрактора от Денвик

• Без изменения конфигурации 1С

• В любом объеме

• С учетом прав доступа

• В нужной детализации и структуре

• С регулярным обновлением по расписанию

Как работает Экстрактор 1С?

• Подключается к базе 1С как Расширение к приложению 1С

• Извлекает нужные документы, справочники, регистры по заранее заданным настройкам для выгрузки

• Позволяет очищать данные от ошибок и дублей, проводить дополнительные вычисления, шифровать данные

• Выгружает данные в СУБД ClickHouse, PostgreSQL, Microsoft SQL

• Передает данные в DWH или BI (PIX BI, Analytic Workspace, Qlik Sense и другие)

Экстрактор создает надежный мост между 1С и BI, автоматически извлекая нужные данные, обеспечивая их прозрачность и подготавливая их для аналитики.

Что нового в Экстракторе 1С: интеграция с PIX BI и другие доработки

Команда Денвик регулярно обновляет и улучшает свой продукт для повышения производительности, эффективности и универсальности Экстрактора.
Подробную информацию о новых релизах вы можете узнать в документации Продукта

Расскажем кратко о свежих ключевых обновлениях в Релизе 3.8.3.88.

• В релизе реализована интеграция с PIX BI в формате нового подключения, что позволяет автоматически создать «Источник» и «Набор данных» в PIX BI.

Новая функция значительно упрощает интеграцию решения с платформой PIX BI.
О том, как создать новое подключение в Экстракторе читайте в статье.

Прочие доработки

• Добавлен раздел «Дополнительные настройки» для строки проекта, в который перенесены настройки «Параметры источника инициализируются из очереди» и «Значение партиции инициализируется из очереди», а также добавлен флаг «Выгружать строку при отсутствии данных»

В форме проекта в колонке «Источник» теперь указывается и тип источника (набор данных, используемый для создания данной строки проекта: объект, запрос и т.д.).

FIX-176141. Для удобства в форму элемента справочника «Проекты» добавлены подписи кнопок «История» и «Очередь»

FIX-165879. Добавлено информирование о блокировке работы с внешними ресурсами, а также уточнено описание

• Введена проверка заполнения обязательных полей для предопределенных обработчиков

• Актуализированы типы полей MS SQL

• Реализована запись статуса «Пропущено» при блокировке внешних ресурсов

• Добавлены следующие функции для вычисляемых полей:

1. Метаданные.Проект.Время запуска

2. Метаданные.СтрокаПроекта.Время запуска

3. Метаданные.Очередь.Количество записей

• В сообщение об ошибке проверки лицензии добавили информацию о том, с какого сервера 1С к какому ресурсу и по какому порту осуществляется подключение

• Актуализированы все процедуры «Алгоритм» из Модуля менеджера справочника Экс_Обработчики

• Для лицензии «Коннектор 1С к Yandex DataLens» в информацию об ошибке добавлены сервер, порт и сервер 1С при HTTP запросе

• FIX-132685. В меню Экстрактора 1С добавлен раздел «Информация о программе»

Обновления Denvic Control Center (DCC)

• Добавлена кнопка «Очистить» в «Регистр сообщений».

• Поддержали PUT-запрос для платформ 1С конфигураций ниже 8.3.6.

Исправлены следующие ошибки

• FIX-131603. Ошибка сегментации данных по полям «Счет» (Хозрасчетный).

• FIX-175965. Ссылка SQL (_IDRRef) возвращает ссылку на sql, для перечислений в том числе.

• FIX-176733. При изменении таблицы остаётся индекс от старой таблицы.

• FIX-176617. При полной выгрузке не заполняются поля «Метаданные.Очередь.Пользователь» и «Метаданные.Очередь.Операция».

• FIX-177789. Ошибки прохода по помощнику при работе с подключением Apache Kafka.

• FIX-176153. Ошибка при выгрузке статуса задачи DCC

Компания Qlever Solutions, специализирующаяся на внедрении корпоративных аналитических решений, является лидером среди партнеров ГК Денвик, заняв первое место в Q1 2025 по объему продаж Экстрактора 1С.

Авторы статьи и партнеры: Qlever Solutions (https://www.qlever.ru/)

• количество создаваемых моделей определяется исключительно потребностями бизнеса.

Экстрактор 1С от компании “Денвик Аналитика” - это готовое решение по автоматической выгрузке любых данных из программы 1С для последующего их анализа в BI-системах.

Это решение совместимо с любыми конфигурациями 1С 8.2 / 8.3 / 8.5. и позволяет автоматизировать процесс получения данных, исключая необходимость в привлечении программистов для настройки выгрузки.

Продукт имеет встроенный конструктор проектов.

С помощью данной интеграции компании смогут решать множество задач, включая:

• визуализацию выручки и продаж по категориям и каналам сбыта;

• отслеживание динамики маржи, промо-активностей и затрат.

• оценку эффективности доставки и контроль нарушений отгрузки.

• сокращение времени на подготовку отчетов и исключение ручного сбора данных.

Пример «монитора руководителя»:

Пример данных по продажам, сделкам, клиентам и показателям в динамике

Пример красочного дашборда, блока с финансовыми показателями

Особенности выгрузки данных из 1С в Fastboard с помощью Экстрактора 1с от “Денвик Аналитика ”

• Формирование произвольных наборов данных: возможность создания документов, регистров, справочников в 1С, а также выполнение сложных запросов, настройка СКД и вычисляемых полей без необходимости привлекать программиста (Self-Service).

• Автоматическое создание и модификация таблиц: поддержка автоматического создания и изменения таблиц в базах данных Clickhouse и MS SQL.

• Автомаппинг полей: упрощение процесса сопоставления полей между источником данных и целевой базой.

• Автоматическая выгрузка данных: настройка выгрузки данных по расписанию или в ответ на внешние события.

• Многопоточная выгрузка данных: оптимизация процесса выгрузки за счет секционирования данных и параллельной выгрузки в несколько потоков.

• Автоматическое отслеживание изменений в 1С: выгрузка только измененных данных на уровне секций, что позволяет поддерживать актуальность информации.

• Высокая скорость выгрузки: обеспечение быстрой передачи больших объемов данных.

• И многое другое: дополнительные функции для повышения эффективности работы с данными.

Экстрактор 1С необходим, если:

• Вы используете внешние BI-системы для анализа данных из 1С.

• Вы хотите получать данные из 1С без участия программиста.

• Вам нужно поддерживать актуальность аналитических данных за счет отслеживания изменений в 1С.

• Вам требуется быстрая доставка больших объемов данных из 1С в BI-системы.

Интеграция Fastboard и Экстрактор 1С от “Денвик Аналитика ” – это инструмент, который упрощает доступ к аналитике и делает процесс работы с данными более удобным и эффективным.

Вы можете сосредоточиться на анализе и интерпретации информации, а не на технических деталях выгрузки.

Но как это работает?

Выгрузка регистра бухгалтерии: путешествие в мир данных

Представьте огромный бухгалтерский журнал, где каждая цифра, каждая строка — это важный элемент, а каждая запись — часть истории вашей компании.

Но что делать, если этот регистр слишком велик и сложен для восприятия? Как извлечь из него только нужную информацию, не потеряв при этом ни капли важных данных? В этом вам поможет выгрузка по Регистратору.

С версии 3.8.1.68 Экстрактора 1С появилась возможность выгружать данные с сегментированием по регистратору. Подобно магическому ключу, данная возможность позволяет открывать двери к упорядоченным и понятным данным.

Пройдёмся по настройке выгрузки регистра бухгалтерии на примере объекта конфигурации «ДвиженияССубконто».

Эта настройка, словно универсальный ключ, подойдёт и для других виртуальных таблиц, таких как «Обороты», «ОборотыДтКт», «ОстаткиИОбороты», «Субконто».

Начнём с раздела «Проекты» в Экстракторе 1С. Нажимаем на кнопку «Создать» и перед нами открывается новый проект. Это наш стартовый пункт в мире выгрузки данных.

Представьте себе огромный архив, где каждая страница – это день, а каждая строчка – событие. Когда вы решаете внести изменения или добавить что-то новое, весь день оказывается под микроскопом. Но что, если вам нужно не просто обновить данные, а сделать это с ювелирной точностью?

В таких случаях на помощь приходит параметр «Регистратор». Этот инструмент позволяет сосредоточиться только на тех записях, которые действительно нуждаются в вашем внимании. Почувствуйте, что вы берете кисть и начинаете аккуратно раскрашивать отдельные страницы, не затрагивая весь альбом.

Чтобы активировать «Регистратора», нужно выполнить несколько простых шагов. Добавьте этот параметр в настройки и снимите флажок с «Периода». Теперь, когда вы вносите изменения, система будет выбирать только одну запись за раз. Да, это может занять немного больше времени, но зато вы получите чистый и аккуратный результат без «лишних» записей.

Однако будьте осторожны! Как и с любым магическим инструментом, с «Регистратором» нужно обращаться с умом. Помните, что выборка будет происходить по одной записи за раз, и это может замедлить процесс. Но если вам важнее качество, а не скорость, то этот параметр станет вашим верным помощником в мире данных.

Как и в любом искусстве, у нас тоже есть свои обязательные элементы и те, что можно оставить на ваше усмотрение.

Начнем с периода. Это как выбрать временной отрезок, который вы хотите запечатлеть на своем полотне. Затем идет регистратор — важный персонаж в нашей истории. Это поле обязательно, как главный герой в сюжете.

Следующий шаг — счета Дт и Кт. Представьте себе два берега реки, через которую мы будем переправлять наши данные. Счета — это наши лодки, которые помогут нам добраться до другой стороны.

Организация — это наш художник, создающий эту картину. Без нее не обойтись, ведь именно она придает нашему проекту уникальность и смысл.

Сумма — это количество краски, которое мы будем использовать для создания нашего шедевра. Важно не переборщить и не оставить холст пустым.

И, наконец, параметры. Регистратор автоматически добавляется в нашу картину, как обязательный элемент. Это как подпись художника на картине, которую нельзя стереть.

Так, шаг за шагом, мы создаем наш уникальный набор данных, выбирая поля, как художник выбирает цвета для своей палитры. И вот, шедевр готов!

В нашем путешествии в мире "альтернативного цифрового искусства" мы остановимся на двух ключевых вкладках — «Отбор» и «Параметры». Эти вкладки остаются неизменными, как надежные компасы, направляющие нас в неизведанные просторы данных.

Следующий шаг — настройка вычисляемых полей. Но мы пропустим этот этап, пропуская мимолётно шепот ветра, и перейдем к более увлекательному занятию. Мы выберем подключение, создадим таблицу и дадим ей имя. Этот процесс можно сравнить со строительством нового дома, где каждая деталь имеет свое место.

На этапе сопоставления полей нам предстоит проверить, чтобы для поля «Параметр.Регистратор» был установлен флаг «Сегмент». И здесь, как в музыкальном инструменте перед концертом — каждая нота должна звучать идеально. Важно также обратить внимание на тип поля параметра в таблице-приемнике. В нашем случае это UUID, словно уникальный идентификатор каждой ноты в произведении.

Путешествие по мирам баз данных: Как правильно выбрать тип поля параметра

Итак, небольшая экскурсия по трем различным базам данных в рамках проекта: ClickHouse, PostgreSQL и MS SQL. Наша цель — понять, как правильно выбрать тип поля параметра для таблиц-приемников, чтобы наши данные всегда были в безопасности и легко управляемы.

Представьте себе огромный корабль, на котором мы отправляемся в плавание по просторам данных. Наш первый пункт назначения — ClickHouse. Это мощная и быстрая база данных, которая идеально подходит для обработки больших объемов данных в реальном времени. Здесь, на ClickHouse, для параметров в таблицах-приемниках используется тип поля UUID. Это как уникальный признак для каждой записи, который помогает системе быстро находить и идентифицировать данные.

Следующий порт путешествия — PostgreSQL. Одна из самых популярных и надежных реляционных баз данных. В PostgreSQL для параметров в таблицах-приемниках также используется тип UUID. Этот выбор не случаен: UUID обеспечивает уникальность каждой записи, что делает работу с данными более предсказуемой и безопасной.

И, наконец, последний пункт назначения — MS SQL. Эта база данных требует использования уникального идентификатора для параметров в таблицах-приемниках. В MS SQL этот идентификатор называется uniqueidentifier. Как и в предыдущих случаях, uniqueidentifier помогает системе быстро находить и управлять данными, обеспечивая их целостность и безопасность.

Следующий этап снова пропускаем.

Теперь заходим в настройки строки проекта с помощью кнопки .

Далее отправляемся в раздел «Оптимизация», где нас ждет важная задача.

Представьте себе ситуацию: сегмент «Регистратор» создает слишком маленький объем данных.

Это как если бы вы пытались наполнить ведро каплями воды чайной ложкой. Чтобы ускорить процесс, мы объединим несколько сегментов в один мощный поток.

Теперь представьте, что вы стоите на развилке дорог. Куда пойти? Влево или вправо? Влево — будет означать установить «Максимальное количество элементов очереди в одной выгрузке» на 100. Вправо — оставить всё как есть. Выбор за вами, но мы советуем выбрать первый вариант.

Почему? Потому что это значение зависит от того, что именно выгружается: сам элемент, его табличная часть, документ или регистр. В любом случае, установка на 100 элементов поможет оптимизировать вставку в целевую таблицу.

Теперь, когда вы сделали свой выбор, нажмите «Применить и закрыть».

Вы почувствуете, как мир «сложных и недосягаемых данных» становится немного проще и понятнее. Вы сделали очередной шаг к успеху!

И вот через подзорную трубу мы видим берег вдали.

Первым делом, подобно штурману, вы нажимаете на кнопку «Записать».

И в этот же момент – подобно первому взмаху веслами, мы задаем направление нашему кораблю.

Затем, как опытный капитан, вы переходите к следующему этапу – «Сформировать очередь».

Здесь вы строите маршрут, расставляя все необходимые пункты на пути к цели.

И, наконец, когда все готово, вы нажимаете на «Выполнить проект».

Это – момент, когда ваш корабль набирает полный ход в движении вперёд, и вы уже на завершающем этапе.

В результате выгрузки мы получим следующее: