protmaksim

protmaksim

Data Engineer
Пикабушник
Дата рождения: 18 ноября
4281 рейтинг 30 подписчиков 8 подписок 135 постов 32 в горячем
Награды:
5 лет на Пикабу
24

Инструмент для быстрой проверки отличий между файлами Excel (добавлен экспорт результата)

После публикации первой части и полученного опыта, а также волны хейта я немного доработал свой онлайн-инструмент для сравнения двух Excel-файлов.

Сначала немного о том, почему я сделал этот инструмент. Я работаю инженером данных и многое уже автоматизировал в своей работе. Сейчас я занимаюсь переносом разных скриптов из старых офлайн систем в облако. Чтобы сравнивать таблицы, есть разные инструменты, но речь не об этом. В них всё просто — можно преобразовать любые форматы и сравнить. Но появилась задача сравнивать Excel, который получается после работы скрипта, и CSV-файл, выгруженный из Databricks. У кого-то это могут быть также две таблицы из разных систем.

Есть несколько вариантов, как это сделать:

  • Для продвинутых хейтеров. Можно загрузить Excel в python через pandas и сравнить две таблицы, но там нужно правильно настраивать форматы, и это долго и не очень удобно. Ещё результат выводится в виде таблицы, и приходится самому искать отличия глазами.

  • Для тех, кто знает формулы в Excel и любит рутину. Можно открыть оба файла в Excel, привести даты к одному формату, прописать формулы для сравнения и так далее. Но это долго, и каждый раз для новых файлов нужно всё делать заново. Приходится создавать дополнительные таблицы с результатами.

В итоге я решил попробовать сделать сайт, который сравнивает файлы прямо в браузере, не загружая их никуда на сервер, а используя только память вашего компьютера. Мне встречались советы в прошлом посте сделать офлайн-инструмент — но, во-первых, в exe-файле может быть всё что угодно, и вы не всегда знаете, что именно он делает. А во-вторых, на работе часто запрещено устанавливать новое ПО.
У моего сайта нет сервера — весь код лежит в открытом GitHub, который подключён к домену.

Какие задачи сейчас решает мой инструмент:

  • Можно сравнить два Excel-файла или Excel с CSV.

  • Можно выбрать, какие листы (вкладки) сравнивать.

  • Все даты перед сравнением автоматически приводятся к одному формату.

  • Названия колонок приводятся к верхнему регистру, чтобы не было ошибок из-за разного регистра.

  • Порядок строк в файлах не важен — инструмент их сравнит правильно.

  • Колонки могут идти в разном порядке — это не проблема.

  • В конце показывается итоговая таблица с отличиями.

  • Есть подробная таблица с цветной подсветкой, где видно, в чём конкретно разница.

  • Можно исключать отдельные колонки из сравнения, чтобы проверить, именно ли в них проблема.

  • Теперь можно экспортировать (сохранить) итоговую таблицу с подсветкой различий.

Вот пример двух файлов, которые я сейчас сравню:

Как видно, даты там в разных форматах, а колонки — в разном порядке. Выбираем файлы, нажимаем «Сравнить» — и получаем результат:

Для меня это очень удобный инструмент, когда нужно быстро и без сложностей сравнить два Excel-файла, быстро увидеть отличия и отправить кому-то итоговую таблицу с подсветкой.

Заранее спасибо за ваши советы и комментарии.

Показать полностью 5
223

Как сравнить два Excel-файла и не сойти с ума (сделал мини инструмент, теперь 30 секунд)

Недавно у меня возникла задача, с которой, наверное, сталкивался каждый, кто хоть раз работал с таблицами. Я выгрузил из разных систем два Excel-файла, а точнее один из них был в CSV формате, вроде бы должны были быть похожими, но не совсем. Нужно было понять сходятся ли они или есть расхождения. Звучит как что-то простое, но когда я начал разбираться, стало понятно — это не 5 минут работы, а, скорее всего ни один час.

Что я пробовал, и почему это не помогло

Иногда если в файле мало строк, можно было сделать и глазами, но не в этот раз.

Обычно если нужно сравнить всего-то один столбец, то отлично подходит ВПР (VLOOKUP), но тут необходимо было сверить все столбцы.

Воспользоваться готовыми решениями не вариант, т.к. большинство из них загружают данные к себе на сервер, а мне хочется каждый раз проверять есть в файле личные данные.

Решение: сделал простую штуку, чтобы не страдать больше

Когда я понял, что готовых решений, которые бы меня устраивали, нет, я решил просто сделать своё. Также мне очень хотелось сделать подсветку расхождений, что не вглядываться в каждый столбец.

В первую очередь я делал этот инструмент для личных целей и пока он работает с небольшими файлами, т.к. их нужно загружать в оперативную память. Но может кому-то тоже окажется полезным - makspilot.com. Он очень простой: выбираешь два файла Excel или CSV, загружаешь их, нажимаешь «Сравнить» — и через секунду получаешь список всех отличий. Также можно исключить столбцы из сравнения.

Как сравнить два Excel-файла и не сойти с ума (сделал мини инструмент, теперь 30 секунд)

Буду рад отзывам или пожеланиям.

В будущем хочу еще использовать одну технологию, которая позволит работать с большими файлами.

Показать полностью 1
24

Матчевая ловля карпа на фиксированный ваглер

В Европе очень популярна матчевая ловля, но у нас она незаслуженно пользуется малым вниманием. Также в русскоязычном интернете не так много материалов про матчевую ловлю, поэтому мы решили заполнить этот пробел и создали материал.

Что же такое матчевая ловля? Это ловля поплавочной удочкой с катушкой и кольцами, как правило со штекерным соединением колен и большим количеством колец. Раньше эту удочку называли английская удочка, потом её начали ошибочно называть матчёвка, так и прижилось в народе.

Какие же преимущества матчевой ловли? Когда рыба стоит далеко от берега от 15 до 50 метров и мы не можем до неё достать другой поплавочной снастью, то лучше всего использовать матчевые удилища. В отличие от фидера, снасть более чувствительная и можно увидеть малейшую поклёвку. Также при этом способе ловли точку закармливают с рогатки и это можно сделать значительно быстрее, не распугивая рыбу.

Что касается удилищ, в Италии часто используются снасти 4,2-4,5 метра, но в Англии и у нас более распространены и удобны 3,6-3,9 метра. Поплавки в основном от 6 до 10 грамм, но есть нюансы. Веса часто указываются как 6+2, это означает, что вес поплавка 6 грамм и необходимо догрузить еще 2 граммами. Не рекомендуется использовать близкие по значению, 3+2 и 4+3, т.к. они будут образовывать вертолёт и частые перехлёсты.

Существуют различные поплавки для матча, но в этот раз мы поговорим о вагглере, фиксированный поплавок с одной точкой крепления. Также поговорим о прикормке для ловли карпа, насадке и правильном закорме точки ловли. В видео всё рассказано более подробно и наглядно. Автор видео Алексей Воличенко - многократный призёр внутренних и международных соревнований по ловли рыбы, главный разработчик белорусской прикормки Vabik. Желаем вам приятного просмотра!

Показать полностью 4 1
18

Хитрости ловли на балду зимой

Ловля на балду, казалось бы, является одним из простейших и примитивнейший способов ловли. Ходи себе, сверли лунки да стучи балдой по дну. С одной стороны, это так и есть, но с другой стороны в этой снасти очень много нюансов и тонкостей из которых и складывается успех. Впрочем, как и в любом другом виде ловли. Сейчас об этом и поговорим.

Первое, с чего хотелось бы начать, это выбор удочки, которой мы будем ловить. Многие рыбаки особо не заморачиваются, чем ловить. Надел кивок и вперёд. Но удочка с кивком, а именно наличие самого кивка может иногда сыграть и не на руку рыболову. Например, при переходе с лунки на лунку, особенно на больших глубинах, леска может зацепиться за крепление кивка, при сбросе лески и образовать "бороду". Также при поклёвке хорошего окуня кивок может просто слететь вместе с креплением. Я же в последнее время использую удочку, в которой кивок является продолжением самого хлыста. К тому же хлысты есть в разных тестах и можно чётко подобрать необходимый вариант для своих целей.


Второй неотъемлемый элемент снасти - это катушка. Можно использовать любой вариант. Единственное, что хотелось бы отметить, что для ловли на больших глубинах очень хорошо подходит зимний мультипликатор. Приманка быстро улетает на дно нажатием одной кнопки. Плюс к этому, катушка обладает высокой передаткой, и делает ловлю более скоростной. Также с помощью этой катушки можно скрытно вываживать рыбу и не махать руками, чтобы не привлекать внимания.

Следующий элемент оснастки - это леска. Толщина её является очень важным элементом для правильной работы балды. Оптимальным я считаю диаметр 0,22-0,25 мм. Даже если мы и хотим в какой-то ситуации в качестве основной использовать леску диаметром 0.16-0.18, то в любом случае нужно будет саму балду вязать на более толстой леске и привязывать ее к основной. Толще чем 0.3 мм тоже не всегда рационально ставить, так как при использовании толстой лески придётся ставить на балду крючки с бо́льшим диаметром ушка.

Теперь что касается самих крючков, и того, какой размер и форму крючков использовать при оснащении балды. Я тут не буду указывать какую-то конкретную модель, размер или форму крючка, который будет универсальным. Такого крючка не бывает. Под каждый размер и под каждую форму балды нужно подбирать крючок соответствующего размера, чтобы снасть выглядела гармоничной. Размер ушка крючка также должен быть соразмерен толщине лески, на которой мы вяжем балду, не слишком большим и не слишком маленьким. От этого зависит то, как наши крючки будут скользить по леске, будут ли они залипать или путаться друг с другом.

Отдельная тема для разговора - это оснащение крючков, так как именно то, что мы одеваем на крючок балды, является одним из основных элементов, привлекающих внимание окуня. Большая часть приманок заводского изготовления оснащены кембриками или бисером разного сочетания цветов. Зачастую этого достаточно. Но бывают ситуации, когда окунь, особенно крупный, не очень активен. И тогда на помощь приходит съедобный резина, на которую мы ловим спиннингом. Именно подсадка кусочков "съедобки" на крючки способна расшевелить пассивного окуня.

Как же привязать балду? Есть несколько способов это сделать, чтобы балда вела себя привлекательно и крючки свободно скользили по леске и не путались. Можно завязывать так называемым "кольцом" с использованием кембрика или термофитовой трубочки. Но самый простой и распространенный способ - это связать обычной петлёй. Единственное, на что надо обратить внимание, это на размер самой петли. Оптимальный её размер 5 сантиметров, плюс минус сантиметр, в зависимости от размера балды. При такой длине крючки хорошо скользят по леске, не путаются друг с другом и редко цепляются за узел.


Также очень важным элементом в такой снасти, как балда является дополнительный крючок подвеска. Он вешается на основную леску через ушко крючка цевьём вниз. Крючок может быть привязан наглухо, но лучше использовать скользящий вариант оснащения, так называемый "бегунок" или "догонялка". При подбросе балды крючок подлетает вверх по леске и медленно скользит вниз, тем самым привлекая внимание окуня. Обычно подвеска хорошо работает, когда окунь неактивен и не хочет атаковать саму балду. Также мы можем вешать несколько таких подвесок и варьировать высоту из расположения на леске в зависимости от того, в каком горизонте на данный момент сейчас держится окунь. Но всё таки не стоит увлекаться количеством подвесок, так как большая гирлянда может сыграть дурную службу. Крючки могут цепляться за лёд при вываживании, что может привести к сходу рыбы. В скользящем исполнении наша подвеска стопорится узлом, бусинкой или кусочком кембрика. Оснащается крючок бисером, теми же кусочками кембрика, либо же связанной на нём мухой.

Теперь мы подошли к финальному моменту ловли на балду, а именно как же ею ловить и какую проводку делать. С большего, если вы начали осваивать данную снасть, тут нет ничего сложного. Главное о чём нужно помнить - это паузы. Никогда не стоит забывать делать паузы. Это основной момент в ловле не только на балду, но и на блесну и на балансир. Длина паузы может быть разной. С большего, работает правило, чем пассивней рыба, тем дольше пауза.

Также очень хорошо работает шевеление балды, лежащей на дне. Она в этот момент не отрывается от дна, а лишь аппетитно шевелит крючками. В сочетании с длинной паузой этот прием очень хорошо работает в самых разных условиях. В другом случае, когда окунь активен или мы хотим раскачать лунку, то можно балдой делать проводку вверх ото дна, как мы делаем проводку чёртиком или мормышкой. Можно делать проводку "лесенку" или "ступеньку", которую мы делаем блесной, чередуя подбросы балды постоянно меняя горизонт. К тому же некоторые формы болд, например балда-банан на коротких резких рывках делают петлю, которая также частенько очень нравится окуню.

Что же касается веса, цвета и формы балды, то тут, как говориться выбор на ваш вкус и цвет. Самым универсальным цветом является черный. Основными рабочими весами для наших водоёмов, а это, как правило, водоёмы со стоячей водой и глубинами максимум 10 метров, будут веса от 8 до 20 грамм. Самым ходовым и универсальным у меня является вес 12-14 грамм. Самой универсальной формой балды является капля. Но также неплохо работают такие формы балды, как банан, булава или пирамида.


Поэтому друзья, кто ещё не попробовал этот простой, и в то же время, очень эффективный и добычливый способ ловли - дерзайте. Он отлично работает на самых разных водоёмах и особенно эффективен при ловле трофейного окуня...

Показать полностью 2 2
43

Ошибки и хитрости при ловле крупного окуня зимой

Окунь - моя самая любимая рыба зимой. Не надо никакой возни с прикормкой, ни тебе грязных рук, слизи и прочей сопутствующих ловле белой рыбы заморочек. Только хороший ледобур, быстрые ноги и весь водоём в твоём расположении.

Правда, когда наступает глухозимье, приходится тоже порядком заморочиться, чтобы быть с уловом. И таких заморочек несколько. Это даже не заморочки, а скорее правила, которые необходимо соблюдать.

Во-первых, нужно иметь с собой практически весь арсенал снастей, начиная от мормышки с мотылём, и заканчивая балансиром и блесной. Предпочтения окуня могут кардинально меняться в течение короткого времени. И только умение быстро под это подстраиваться, позволит выжать максимум из рыбалки.

Во-вторых, очень важно выбрать необходимую тактику ловли и поиска рыбы. Есть водоемы, где окунь стоит локально практически весь зимний период. Его стоянки привязаны к каким либо подводным аномалиям, микрорельефу, корчам и т.д. В таких локальных местах работает тактика довольно плотного сверления лунок, когда они могут располагаться менее метра друг от друга.

В такой рыбалке есть свои прелести, но мне больше по душе второй вариант: активный поиск окуня по площадям и большой акватории. Это актуально на больших, глубоких, ледниковых водоёмах, где окунь много движется. И места его ловли изо дня в день постоянно меняются. Поэтому активный поиск способен принести хороший результат.

Но самым важным фактором является то, что очень важно искать именно новые, незасверленные участки водоёма. Замечено неоднократно, что окунь, особенно крупный, не любит "засвеченных" участков и предпочитает держаться от них поодаль. Конечно, бывают исключения, но как правило, ловля с "чистых" пятаков более результативна и окунь там менее привередлив.

Также очень важно уметь "не залипать" на точке и вовремя уходить с лунок, на которых клюёт мелкий окунь. Вероятность, что среди стаи 20-ти граммовой матросни влетит хороший окунь не очень велика. Наша основная задача - это максимально быстро понять, насколько активна сегодня рыба, и будет ли она реагировать на относительно крупные приманки. Если даже мелочь со старта хорошо отзывается на балду, блесну или балансир, то и стоит продолжать поиск рыбы в том же духе, и уже только в крайнем случае переключаться на мормышку с мотылём или безмотылку.

Ну и небольшая хитрость напоследок. После того, как вы нашли окуневый пятак, неплохо половили оттуда и рассчитываете там половить ещё и завтра, то не поленитесь уходя домой, засыпать шугой лунки и убрать следы своего прибывания. Во-первых, очень маленький шанс, что вы спалите точку и проходящие мимо рыбаки заметят рассверленный пятак. А во-вторых, это особенно актуально на небольших глубинах, есть шанс, что окунь не уйдет с засвеченного участка, поскольку вы затемнили его, засыпав лунки...

Данные выше советы, конечно не аксиома, так как водоемы и ситуации на них бывают разные. Но всё таки соблюдение этих правил неоднократно выручали на окуневых рыбалках и давали хороший результат, и, надеюсь, помогут и вам.

Показать полностью 4 1
34

Как ловить на джиг для начинающих / 11 джиговых проводок

Очень часто нам задают вопросы, какие проводки мы используем для ловли джигом, какие самые эффективные и какая проводка самая уловистая?

На эти вопросы нельзя ответить одним предложением, также, как и не существует самой уловистой проводки. Подбирать проводку необходимо в зависимости от трёх факторов: условий ловли, типа водоёма и активности рыбы. Об этом и пойдёт речь, чтобы поймать окуня, судака или щуку ловить нужно осмысленно, тогда и результат будет значительно лучше.

У нас получилось 11 основных проводок для ловли на джиг, но какую и когда нужно использовать?

Начнём с классической джиговой проводки 2 оборота, пауза. Про неё знают все, она отлично подходит для разведки на незнакомом водоёме. Когда паузы на падении приманки становятся короче, значит пошёл подъём, когда длиннее – свал. Такие места являются потенциальными стоянками для хищника.

Если поклёвок не последовало, то можно применить более медленную, пассивную проводку или волочение по дну. Пассивных проводок бывает довольно много: медленное волочение, с подёргиванием удилищем, игра на месте, ловля по площадям и тд.

Может быть и такое, что рыба не клюнула, значит она может стоять в другом горизонте из-за термоклина, тогда можно ловить на равномерную проводку в толще воды, но в этих условиях для ловли хищника существуют более уловистые приманки. Эту проводку также называют пелагической, чаще всего на неё мы ловим щуку, когда со дна поднимается высоко трава.

Еще одна из популярных проводок в Латвии – ловля на прорыв в траве. Для этого чаще всего используют огруженные офсетные крючки и мощные снасти, чтобы выдирать щуку из зарослей.

Довольно сложно объяснить все нюансы в текстовом формате, поэтому более подробно и наглядно в видео:

Показать полностью 3 1
13

5 уловистых проводок тейл спиннера

Всем привет, в последнее время очень сильно начала набирать популярность такая приманка как тейл спиннер для ловли летом в жару. Этой приманкой удобно быстро проверять активность рыбы, а также облавливать свалы. С одной стороны она довольно примитивная, но в ней есть свои нюансы, мы изучили все возможные модели на сегодняшний день, но об этом в следующий раз...

Рыбалка на спиннинг летом, особенно ловля окуня и щуки усложняется из-за жары, но если подобрать правильные, приманки, то можно успешно ловить хищную рыбу. В жару лучше всего работают раттлины и тейлспиннеры, про то, как ловить на раттлины vib, разновидности и особенности проводки мы уже рассказывали в нашем прошлом видео.

Теперь пришло время рассказать как ловить на тейл спиннер и какие бывают проводки. В основном рыбаки пользуются всего двумя проводками: равномерной и с паузами, классическая джиговая проводка. Мы используем пять проводок, некоторые из них казалось бы совершенно неприменимы к тейл-спиннерам... Рассказать про них в текстовом варианте довольно сложно. В видео рассказано про приманки и проводки очень подробно, с кадрами под водой. Топ 5 самых уловистых проводок!

Показать полностью 1 1
36

ТОП-5 приманок для ловли жереха летом

Всем привет, отправились на четырехдневную рыбалку на реку Днепр и большую часть времени посвятили ловле жереха. Почему? Да чего только стоят эти мощные поклёвки речного корсара!

Собираясь в многодневную рыбалку мы стараемся брать почти весь свой арсенал приманок, т.к. никогда не знаешь какая сегодня будет клевать рыба. Первый день удалось вполне хорошо половить окуня на попперы и силикон, но со временем стало ясно, что жерех активен и начался поиск заветного ключика. Не один десяток приманок полетел в воду, меняли не только приманки, но и способ подачи, постановки лодки. По окончанию нашего небольшого путешествия удалось собрать ретинг лучших приманок для ловли жереха летом. Топ-5 мы составили не по количеству пойманных рыб нами, а с учетом сложности ловли на данные приманки для начинающих жерешатников.

Приманка №5 - воблер волкер Akara Fop 85F


Эта приманка имеет хорошие полётные характеристики и стабильную игру при проводке, но к сожалению не каждый рыболов умеет правильно и ритмично делать проводку, поэтому, чтобы поймать на неё рыбу нужна практика. При наличии определенных умений данную приманку, наверное, можно было бы поставить и выше в нашем рейтинге, ведь именно на неё были пойманы самые крупные экземпляры.

Приманка №4 - тейл спиннер UF studio Hurricane


Тейл спиннер имеет хорошие полетные характеристики, атаки жереха были просто на равномерную проводку. Также данную приманку можно проводить как в поверхностном слое, так и в среднем. К сожалению, на данную приманку был пойман только один жерех, но на него также хорошо отзывался окунь.

Приманка №3 - пилькер White Predator 17 грамм


Пилькер, наверное, одна из самых популярных и народных приманок после кастмастера. Опять же, на данную приманку был пойман всего один жерех, но было большое количество холостых поклёвок. Проводку пилькера мы выполняли в поверхностном слое быстро выматывая приманку.

Приманка №2 - вертушка Akara Libra #2 и #3 размеры


По количеству пойманной рыбы на эту приманку её смело можно ставить на первое место, более 60-ти штук было поймано за три дня рыбалки. Основным преимуществом является её полетных характеристики. Akara Libra - это самая дальнобойная вертушка. Также за время рыбалки на неё было поймано несколько хороших экземпляров окуня 500+ грамм. Но всё же было пару моментов, где чуть-чуть не хватало её полетных характеристик.

Приманка №1 - ятаган кукри White Predator 7-14 грамм


Кукри- самая дальнобойная из всех возможных приманок на жереха. Она отлично себя показала при ловле весной с берега и ничуть не хуже летом с лодки. Ловить на неё нужно скоростной проводкой по поверхности, чтобы издавались своебразные бульки. При желании её также можно проводить и в средних слоях, что делает ятаган универсальной.

Жерех очень осторожная рыба, поэтому ловить её нужно с максимально дальней дистанции. Времени, чтобы менять приманки на одном спиннинге нету, также необходимы разная толщина плетёнки, чтобы как можно дальше забрасывать приманки. Мы использовали три спиннинга:

Спиннинг ультралайт Akara Teuri ULS (тест 0,6-7 гр)
Спиннинг лайт Surf Master SP1121 Wizard Spin (тест 5,5-17,5 гр)
Спиннинг хэви Akara Machete (тест 17-45 гр) MH
Показать полностью 7 1
Отличная работа, все прочитано!