Товарищи, прошу посильной помощи, подсказки профи и умельцев во имя научения.

Добрый день.

"Напоролся" на ситуацию впервые, но, как я понимаю, для специалистов по BigData - вполне частая ситуация.

Хотел попробовать поработать с большим массивом данных на основе информации на портале ГосЗакупок. Данных очень много, потому показалось интересным, в том числе, в учебных целях.

Power BI не умеет работать с ftp, где расположены данные, потому пришлось искать варианты решения. Остановился на написании bat-файла, который загружает обновлённые данные c ftp на жёсткий и может обновлять: (код bat-файла, если вдруг интересно)

@Echo off

set downloadfolder="fcs_regions/Permskij_kraj/contracts/"

IF not exist %downloadfolder% (mkdir %downloadfolder%)

"C:\Program Files (x86)\WinSCP\WinSCP.com" ^

/log="D:\Code\M + DAX\ftp.zakupki.gov.ru\scp_sync_log.txt" /ini=nul ^

/command ^

"open ftp://free:free@ftp.zakupki.gov.ru/" ^

"synchronize -criteria=size -transfer=binary local ""d:\Code\M + DAX\ftp.zakupki.gov.ru\%downloadfolder%"" %downloadfolder%" ^

"close" ^

"exit"

set WINSCP_RESULT=%ERRORLEVEL%

if %WINSCP_RESULT% equ 0 (

echo Success

) else (

echo Error

)

exit /b %WINSCP_RESULT%

Всё стало лучше (так казалось), настало время подключаться к данным (а это данные, если вдруг захотите получить готовый комплект). Сформировал 3 файла: общий путь к данным, функция вы извлечения данных из архивов, набор операций преобразования данных.

В общем-то и всё. Начинаем грузить информацию. К слову говоря, делаем это на сервере, где выделяется 36 Гб оперативки и достаточная производительная мощность. Однако, в процессе загрузки (а это только часть данных) всё крашится с неведомыми ошибками. Я полагаю, что просто ресурсов не хватает. Шутка ли, загрузить в кеш 20 Гб данных в виде архивов, каждый из которых надо распаковать и всё это ещё и объединить и прочее.

Собственно, теперь вопрос. Как построить работу с таким объёмом данных и умудриться это всё обработать?

let

Источник = Folder.Files(#"Путь к папке"),

#"Полный путь к файлу" = Table.AddColumn(Источник, "Полный путь к файлу", each [Folder Path]&[Name]),

#"Другие удаленные столбцы" = Table.SelectColumns(#"Полный путь к файлу",{"Полный путь к файлу"}),

#"Измененный тип" = Table.TransformColumnTypes(#"Другие удаленные столбцы",{{"Полный путь к файлу", type text}}),

#"Контент фалйа" = Table.AddColumn(#"Измененный тип", "Контент файла", each File.Contents ([Полный путь к файлу])),

#"Вызвана настраиваемая функция" = Table.AddColumn(#"Контент фалйа", "fx_UnzipContents", each fx_UnzipContents([Контент файла])),

#"Проверка целостности" = Table.AddColumn(#"Вызвана настраиваемая функция","IsEmpty", each Table.IsEmpty([fx_UnzipContents])),

#"Строки с примененным фильтром" = Table.SelectRows(#"Проверка целостности", each ([IsEmpty] = false)),

#"Развернутый элемент fx_UnzipContents" = Table.ExpandTableColumn(#"Строки с примененным фильтром", "fx_UnzipContents", {"FileName", "Content"}, {"FileName", "Content"}),

#"Исключение не xml" = Table.SelectRows(#"Развернутый элемент fx_UnzipContents", each (Text.End([FileName],4) = ".xml")),

#"Добавлен пользовательский объект" = Table.AddColumn(#"Исключение не xml", "Содержание XML", each Xml.Tables([Content])),

#"Развернутый элемент Содержание XML" = Table.ExpandTableColumn(#"Добавлен пользовательский объект", "Содержание XML", {"Name", "Table"}, {"Name", "Table"}),

#"Развернутый элемент Table" = Table.ExpandTableColumn(#"Развернутый элемент Содержание XML", "Table", {"http://zakupki.gov.ru/oos/types/1", "Attribute:schemeVersion"}, {"http://zakupki.gov.ru/oos/types/1", "Attribute:schemeVersion"}),

#"Другие удаленные столбцы1" = Table.SelectColumns(#"Развернутый элемент Table",{"http://zakupki.gov.ru/oos/types/1"}),

#"Развернутый элемент http://zakupki.gov.ru/oos/types/1" = Table.ExpandTableColumn(#"Другие удаленные столбцы1", "http://zakupki.gov.ru/oos/types/1", {"id", "regNum", "number", "publishDate", "signDate", "versionNumber", "foundation", "customer", "protocolDate", "documentBase", "price", "currency", "singleCustomerReason", "executionDate", "finances", "products", "suppliers", "href", "printForm", "scanDocuments", "currentContractStage"}, {"id", "regNum", "number", "publishDate", "signDate", "versionNumber", "foundation", "customer", "protocolDate", "documentBase", "price", "currency", "singleCustomerReason", "executionDate", "finances", "products", "suppliers", "href", "printForm", "scanDocuments", "currentContractStage"}),

#"Развернутый элемент customer" = Table.ExpandTableColumn(#"Развернутый элемент http://zakupki.gov.ru/oos/types/1", "customer", {"regNum", "fullName", "inn", "kpp"}, {"customer.regNum", "customer.fullName", "customer.inn", "customer.kpp"}),

#"Развернутый элемент currency" = Table.ExpandTableColumn(#"Развернутый элемент customer", "currency", {"code", "name"}, {"currency.code", "currency.name"}),

#"Развернутый элемент executionDate" = Table.ExpandTableColumn(#"Развернутый элемент currency", "executionDate", {"month", "year"}, {"executionDate.month", "executionDate.year"}),

#"Развернутый элемент singleCustomerReason" = Table.ExpandTableColumn(#"Развернутый элемент executionDate", "singleCustomerReason", {"id", "name"}, {"singleCustomerReason.id", "singleCustomerReason.name"}),

#"Удаленные столбцы" = Table.RemoveColumns(#"Развернутый элемент singleCustomerReason",{"printForm", "scanDocuments"}),

#"Развернутый элемент foundation" = Table.ExpandTableColumn(#"Удаленные столбцы", "foundation", {"oosOrder"}, {"foundation.oosOrder"}),

#"Развернутый элемент foundation.oosOrder" = Table.ExpandTableColumn(#"Развернутый элемент foundation", "foundation.oosOrder", {"notificationNumber", "lotNumber", "placing"}, {"foundation.oosOrder.notificationNumber", "foundation.oosOrder.lotNumber", "foundation.oosOrder.placing"}),

#"Развернутый элемент suppliers" = Table.ExpandTableColumn(#"Развернутый элемент foundation.oosOrder", "suppliers", {"supplier"}, {"suppliers.supplier"}),

#"Развернутый элемент suppliers.supplier" = Table.ExpandTableColumn(#"Развернутый элемент suppliers", "suppliers.supplier", {"participantType", "inn", "kpp", "organizationName", "country", "factualAddress", "postAddress", "contactPhone"}, {"suppliers.supplier.participantType", "suppliers.supplier.inn", "suppliers.supplier.kpp", "suppliers.supplier.organizationName", "suppliers.supplier.country", "suppliers.supplier.factualAddress", "suppliers.supplier.postAddress", "suppliers.supplier.contactPhone"}),

#"Развернутый элемент suppliers.supplier.country" = Table.ExpandTableColumn(#"Развернутый элемент suppliers.supplier", "suppliers.supplier.country", {"countryCode", "countryFullName"}, {"suppliers.supplier.country.countryCode", "suppliers.supplier.country.countryFullName"}),

#"Развернутый элемент finances" = Table.ExpandTableColumn(#"Развернутый элемент suppliers.supplier.country", "finances", {"financeSource", "extrabudget", "extrabudgetary"}, {"finances.financeSource", "finances.extrabudget", "finances.extrabudgetary"}),

#"Развернутый элемент finances.extrabudget" = Table.ExpandTableColumn(#"Развернутый элемент finances", "finances.extrabudget", {"code", "name"}, {"finances.extrabudget.code", "finances.extrabudget.name"}),

#"Развернутый элемент finances.extrabudgetary" = Table.ExpandTableColumn(#"Развернутый элемент finances.extrabudget", "finances.extrabudgetary", {"month", "year", "substageMonth", "substageYear", "KOSGU", "price"}, {"finances.extrabudgetary.month", "finances.extrabudgetary.year", "finances.extrabudgetary.substageMonth", "finances.extrabudgetary.substageYear", "finances.extrabudgetary.KOSGU", "finances.extrabudgetary.price"}),

#"Развернутый элемент products" = Table.ExpandTableColumn(#"Развернутый элемент finances.extrabudgetary", "products", {"product"}, {"products.product"}),

#"Развернутый элемент products.product" = Table.ExpandTableColumn(#"Развернутый элемент products", "products.product", {"sid", "OKPD", "name", "OKEI", "price", "quantity", "sum"}, {"products.product.sid", "products.product.OKPD", "products.product.name", "products.product.OKEI", "products.product.price", "products.product.quantity", "products.product.sum"}),

#"Развернутый элемент products.product.OKPD" = Table.ExpandTableColumn(#"Развернутый элемент products.product", "products.product.OKPD", {"code", "name"}, {"products.product.OKPD.code", "products.product.OKPD.name"}),

#"Развернутый элемент products.product.OKEI" = Table.ExpandTableColumn(#"Развернутый элемент products.product.OKPD", "products.product.OKEI", {"code", "nationalCode"}, {"products.product.OKEI.code", "products.product.OKEI.nationalCode"})

in

#"Развернутый элемент products.product.OKEI"

А это на случай, если захотите посмотреть мой файлик.

Статью с аналогичным названием я недавно опубликовал на Хабр.

Статья посвящена анализу результатов финансово-хозяйственной деятельности предприятий России. Работа основана на открытых данных Росстата. Программный продукт также бесплатен для всех. Результаты своей работы также для всех предоставляются бесплатно.

Уверен, что среди сообщества есть финансисты, банкиры, экономисты, аналитики и те, кого я не упомянул, кому данная публикация могла бы быть интересна.

В этой же публикации я бы хотел обратить Ваше внимание на те, по моему мнению, вопиющие неточности, которые обнаружились в статистических данных, предоставляемых Федеральной службой государственной статистики. На момент написания статьи данные находились по данной ссылке (отдельно опубликовал их у себя на файлообменнике и, если вам захочется скачать их и созданное приложение, попробовать его, то милости прошу - переходите на Хабрастатью, поглядите обзор и скачивайте - всё бесплатно и для вас).

Вначале была проделана значительная работа по загрузке данных в Power BI. Всё шло хорошо и начался процесс построения графиков, расчёта дополнительных коэффициентов и т.д. Часть коэффициентов имеет нормативные значения, а если рассматривать их в совокупности, то получается весьма стройная система. Если в коэффициентах не соответствует один из них, то и, с высокой долей вероятности, "поплывёт" и какой-нибудь ещё.

Совершенно странным казалось, после первичного просчёта, часть коэффициентов, которые в сумме должны давать единицу, вдруг перестали это делать.

Надо пояснить, что работа предполагала суммирование всех балансов всех предприятий. Совокупный актив должен равняться совокупному пассиву. Но! Вдруг этого не происходит.

Конечно, я сначала усомнился в себе и перепроверил 300 раз расчёты, но не мог обнаружить ошибку. Перешёл, буквально, к анализу каждого участника рынка и сделал дополнительное построение, сопоставляющее актив каждого предприятия с пассивом. И... О Боже! Реально! Есть огромное множество предприятий, отчётность которых в Росстате "несходима" по этому признаку.

В своей статье на Хабр я привёл несколько примеров.

А теперь давайте оценим масштаб бедствия и причину моего негодования.

1. Федеральный орган государственной статистики, который содержится из бюджетных средств, а также Федеральная налоговая служба, которая также является бюджетной организацией, принудили хозяйствующие субъекты сдавать всевозможною отчётность.

2. Та же ФНС принуждает предприятия проводить проверку контрагентов с применением открытых источников данных, подозревая различные схемы обнала и прочее;

3. На рынке появляется множество организаций, которые аккуратно обрабатывают эти данные и формирую сводки по субъектам и на продают подписки, а ты их покупаешь (но пока часть есть и бесплатная);

4. ФНС начинает продавать свою базу за 200К! (чтобы не быть голословным, вот официальные данные )

Дк, помимо того, что они обязаны предоставлять эту информацию бесплатно (и, надо быть честными, бесплатно без всяких ухищрений, типа введи код на странице и мы вам дадим данные по одной организации бесплатно), они ещё и собрать её нормально не могут и проверить не могут!

Эту информацию используют при принятии решений в части кредитования Банки, различные иные структуры, выдающие субсидии и уверен, что кто-нибудь ещё. Здесь также надо сказать, что эти люди уже давно сами перестали анализировать, а смотрят на работающие системы анализа, а последние опираются на недостоверные данные.

А я… будучи преподавателем, в том числе, больше не смогу развивать этот продукт, т.к. убедить своего ректора приобрести за 200К эту подписку я точно не смогу))

Искренне надеюсь на Вашу поддержку.

Пожалуйста, ознакомьтесь с публикацией, проникнитесь проблемой.

Спасибо

«На научных семинарах, проходивших в Институте прикладной математики им. М. В. Келдыша РАН, не раз обсуждались вопросы о дискретной формулировке законов природы.

В самом деле, обратим внимание на непоследовательность и парадоксальность нашего нынешнего описания физической реальности. На микроуровне мир дискретен. Но законы природы в современной физике сформулированы на языке дифференциальных уравнений, оперирующих с гладкими и непрерывными функциями. Но поскольку в большинстве интересных и важных случаев мы без компьютера решать их не умеем, то возникает проблема «обратного перевода» - от непрерывных уравнений к тем дискретным сущностям, с которыми оперирует компьютер. Этот «перевод» сам по себе сложен и неоднозначен. Он породил многие направления современной математики, некоторые из которых особенно близки сердцу Р. Пенроуза.

И, естественно, возникает соблазн обойтись без перевода, формулируя законы природы не на «непрерывном», а на «дискретном» языке. Работы в этом направлении активно ведутся (здесь и машины клеточных автоматов, и теория самоорганизованной критичности, и другие подходы, дающие дискретную картину реальности). Тем не менее, появление хотя бы одной «полезной» в смысле Пенроуза теории, сформулированной на дискретном языке могло бы в сущности повлиять на всё естествознание».

Малинецкий Г.Г., Синергетика, нелинейность и концепция Роджера Пенроуза – Введение в книгу: Роджер Пенроуз, Новый ум короля: О компьютерах, мышлении и законах физики, «Едиториал УРСС», 2005 г., с.19.

Источник — портал VIKENT.RU

Дополнительные материалы:

НАУЧНЫЕ ЗАДАЧИ Плейлист из 25-ти видео

Изображения в статье

Георгий Геннадьевич Малинецкий — советский и российский математик. Автор более 800 научных трудов и более 100 научно-популярных статей / РИА Рустим