24

Экспорт из Excel в Storehouse

Товарищи, коллеги, собратья!)


Помогите, пожалуйста, советом) А быть может и решением...


Дано -

гигантская таблица с номенклатурой, в excel, которая обновляется по цене, скажем раз в квартал... Ответственный человек, также раз в квартал, берет ее и переносит данные вручную в Storehouse.


Номенклатура в excel и shouse по наименованию не совпадает...

Тоесть есть какие-то опознавательные знаки, по которым можно найти позицию и в excel и shouse, но наименования не идентичны...


Вопрос - как автоматизировать перенос данных из excel в shouse?

Пока в голове, на уровне дауна, идея - выгружать в xls таблицу номенклатуры с shouse, каким-то макаром сверять с исходной excel по общим "маркерам" в наименованиях и автоматом вносить в выгруженный shouse.... затем заливать его обратно...


В том ли направлении смотрю? Может есть готовые решения или кто-то писал что-нибудь подобное "на коленке"?


Буду рад любой помощи, человек чуть ли не умирает от этих таблиц, настолько это муторно и долго.


Спасибо.

Экспорт из Excel в Storehouse

MS, Libreoffice & Google docs

762 поста14.9K подписчика

Правила сообщества

1. Не нарушать правила Пикабу

2. Публиковать посты соответствующие тематике сообщества

3. Проявлять уважение к пользователям

4. Не допускается публикация постов с вопросами, ответы на которые легко найти с помощью любого поискового сайта.

По интересующим вопросам можно обратиться к автору поста схожей тематики, либо к пользователям в комментариях


Важно - сообщество призвано помочь, а не постебаться над постами авторов! Помните, не все обладают 100 процентными знаниями и навыками работы с Office. Хотя вы и можете написать, что вы знали об описываемом приёме раньше, пост неинтересный и т.п. и т.д., просьба воздержаться от подобных комментариев, вместо этого предложите способ лучше, либо дополните его своей полезной информацией и вам будут благодарны пользователи.

Утверждения вроде "пост - отстой", это оскорбление автора и будет наказываться баном.

1
Автор поста оценил этот комментарий

Если есть время и желание сделать самому, то п.4 будет весьма интересным)

Между полем наименование и отдельными словами надо будет реализовать связь меногие-ко-многим, слова из словаря очистить от "стоп-слов" - вроде "и" и т.п. общеупотребимых слов и союзов, скорее всего и от символов, а сами слова привести к одному регистру.

С Soundex тоже будет интересно, т.к. оригинальный алгоритм адаптирован под английские слова, но есть так называемый "восточно-европейский soundex" или Daitch-Mokotoff Soundex, единственно этот алгоритм тоже надо будет адаптировать под кириллицу (если она используется) - простая транслитерация должна подойти. По хэшам сопоставлять отдельные слова значительно проще. Мерой релевантности в данном случае будет количество слов в единичном наименовании из, скажем, файла, которые нашли похожие слова в одном и том же наименовании из базы, по отношению к общему количеству слов в наименовании из файла. Это считается простым агрегирующим запросом.

Но важно понимать, что даже единица не может означать точного совпадения наименований и нужна еще проверка по расстоянию Левенштейна (или даже лучше - расстояние Дамерау-Левенштейна). Реализации как DM Soundex, так и расстояния Дамерау-Левенштейна есть в сети.

Первичный Data Cleansing включает в себя по возможности исправление "косяков" в данных, которые могут быть исправлены автоматически, и принятие решения о судьбе данных, которые не могут быть исправлены - удалить или оставить на усмотрение оператора.

Вторичный Data Cleansing должен включать контроль за сопоставлением наименований, обработку дублирующих записей, возникших по многим причинам - когда одному наименованию номенклатуры в файле сопоставляются несколько в базе и наоборот, контроль прочих условий (например, если цена не может снижаться) и т.п.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

емае.... а Вы сами этим занимаетесь? )

показать ответы
1
Автор поста оценил этот комментарий

Если совсем просто, то вот например - https://www.etl-tools.com/articles/etl-for-interbase-and-fir... - первая ссылка в гугле для "ETL Interbase", готовое решение, но надо быть знакомым со схемой данных.

Если самому такую штуку проектировать, то надо бы, наверное, так:

1) загрузить Excel файл в таблицу Interbase внешней самописно утилитой

2) провести проверку значений - где они должны быть обязательны, где допустимы только цифры, где должны быть только индивидуальные значения

3) первичный Data Cleansing

4) из поля Наименование сделать список, разбить его по словам, собрать хэши (типа soundex) и ссылки наименований на слова, и собрать такую же информацию по наименованиям в базе, и собрать релевантность для каждой пары наименований из файла и базы, низко-релевантные пары можно сразу же отсеивать, потом профильтровать похожие "конкурирующие пары" по алгоритму расстояния Левенштейна, оставив только 1 с наименьшим расстоянием.

Ну или сопоставить 1 раз список наименований в файле и базе вручную.

5) Создать документ, кторый меняет эти цены и заполнить его, преобразуя наименование по получившемуся словарю в айдишки номенклатуры, с новой ценой ессесно.

6) Вторичный Data Cleansing

7) документ "провести" в системе

Вот как-то так. С самим StoreHouse особо не знаком, но имел дело когда-то с их кипером и 1С, не думаю, что общая концепция сильно изменилась.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

очень хорошо написано, спасибо, буду пробовать разбираться как это сделать)

показать ответы
1
Автор поста оценил этот комментарий

Связывать две таблицы наверно придется в Excel через Power Query используя нечёткий текстовый поиск. Очень хорошо рассказано тут https://www.planetaexcel.ru/techniques/24/11627/

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

почитаю, спасибо.

1
Good news, everyone!
Автор поста оценил этот комментарий

Попробуйте не создавать костыль, а поменять процесс полностью. @qawsed90 описал самый эффективный способ, дальше только использовать ИИ. И все равно нужно будет дорабатывать вручную.



Кто-то же обновляет первую таблицу? Может стоит внести в нее сразу номенклатурные коды и по ним вытаскивать изменившиеся цены?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

К сожалению, в многих российских компаниях функция "поменять процесс" на уровне исполнителей не работает ни в какую сторону.... это уже обсуждалось с человеком, говорит, не будут делать только из-за нее...

1
Автор поста оценил этот комментарий
Я бы покопал в сторону power query
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

а где посмотреть реализации какие-нибудь, чтобы понять подходит нет?

показать ответы
2
Автор поста оценил этот комментарий

Там вроде Interbase в качестве БД, я бы рекомендовал сделать нормальный ETL-процесс, для наименований завести словарь, первично состыковать имена по расстоянию Левенштейна с разбивкой по словам, на каждое изменение цены (загрузку) заводить документ, чтобы это прозрачно отрабатывалось в системе.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

как это технически реализовать?) можешь показать в какую сторону копать?

показать ответы
1
Автор поста оценил этот комментарий

Дилерам написать, спросить, Карбис например, ЮЦЦ навряд ли пишет что то.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

у меня нет "дилерских" бюджетов, хочу просто помочь человеку), может тут думал народ уже решал подобное...

1
Автор поста оценил этот комментарий
Насколько я помню в SH база запоролена самими UCS(точнее её структура и др), так что выгрузка/загрузка делается только вручную из самого SH. У разрабов этого днища было какое-то решение по автоматизации процесса обмена с xls, но зуб даю, что за шекели.
Покури этот форум https://carbis.ru/forum/ может там кто уже предложил решение.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

вчера смотрел, ничего толкового так и не нашел...

1
Автор поста оценил этот комментарий

Надо глядеть на объёмы и как происходит загрузка /выгрузка в Storehouse .
Только после этого можно понять обойдётся ли макросами это или надо что то более серьёзное .
Почту оставьте для связи.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

gentos @ gmail . com

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества