g9rga

Мы хотели себе каркасный дом в стиле барнхаус, потому нашли подрядчика который обязался все сделать в лучшем виде, подкопили денег для старта стройки и в начале осени приступили к строительству, мы хотели оставить как можно больше целых деревьев на участке, потому спилили по минимуму - одно большое дерево и ветку другого дерева:

Поставили забор:

Постепенно дом становился похожим на дом:

Уже зимой этого года как-то приехал посмотреть как идет стройка и дыхание перехватило, снег лежит, сосны стоят в снегу, красота неимоверная(с женой договорились посадить во дворе голубую ель и наряжать ее на новый год):

В целом шло хорошо(не считая того что расходы на стройку сильно отличались от того что запланировали), и мы планировали переехать в дом в конце апреля.

Но потом настало 24 февраля и я немного поплачусь. Как я писал в предыдущих постах, мы с женой уехали на день раньше из Киева, а работники которые строили дом, уехали уже после(отдельное спасибо им за то что когда уезжали, закрыли пленкой все окна и двери. Мы долгое время не знали что с нашим домом, учитывая ожесточенные бои предполагали что он мог сгореть, или же его могли разбомбить. Когда наконец-то получилось вырваться в Ирпень поехал посмотреть что с ним:

На первый взгляд все не так плохо - поломанный забор, разбитые окна, испорчен задний фасад. Ходить пришлось осторожно, эту часть Ирпеня тогда еще не разминировали, в здании напротив так и написано: "Осторожно мины". Зашел посмотреть поближе:

Забор проломлен, там где цел видны сколы(от пуль, осколков?):

Сам дом расстрелян, странно звучит, но именно так можно описать каркасный дом в который стреляли, куча сквозных отверстий когда пуля входит в одну стену и выходит из другой стены. Окон осталось целых примерно 30%, обидно что много где прострелена рама, т.е. такие окна уже нельзя восстановить, в крыше тоже дырки(фото не сделал, мокрый пол под дыркой в крыше говорит о том что все плохо):

Глядя на входную дверь складывается ощущение что кто-то специально стрелял, кто разбирается, это от осколков или пулевые отверстия?

Не разбираюсь в строительстве домов, но что-то мне подсказывает что для того чтоб все починить нужно будет разбирать дом до каркаса, смотреть на повреждения обрешетки, несущих балок, менять паробарьер, гидробарьер, пробитый металл, проверять проводку, трубы, трассу кондиционера и т.д., а потом заново собирать дом

Страшно подумать сколько это все будет стоить, сейчас нет ни денег ни желания что-то чинить - ситуация нестабильная и возможно вскоре от дома вообще ничего не останется.

В очередной раз задумался о том как хрупка наша жизнь и все что у нас есть, а наши планы всегда могут пойти по одному месту. Ну, по крайней мере мы пока живы, и то хорошо.

З.Ы. Упустил много деталей по строительству, потому что тогда пост вышел бы прям ооочень большим.

На этом хорошие новости закончиваются. Являюсь несчастным обладателем недвижимости в Ирпене(возле Киева), и как раз на выходных ездил смотреть как там дела. В первую очередь на квартиру, потому что там больше месяца стоял холодильник без электричества(сам холодильник удалось отмыть, но воняло знатно :)

Вот так выглядит дом во дворе напротив квартиры:

Моей квартире повезло больше, разбитое стекло и сквозное отверстие в стене, вот так это выглядит:

Я так понял что кусок металла пробил стену, ударился в другую, отлетел опять в ту стену через которую попал в квартиру и упал на стол.

Кроме квартиры в Ирпене перед отъездом 23 февраля я оставил свою машину(уехали на машине жены), там же осталось коммерческое помещение и почти достроенный дом, в который мы с женой планировали переехать в конце апреля. Если будет интересно что с этим всем стало, создам еще один пост.

Ну а потом понеслось, признание ЛНР и ДНР, ввод туда же войск. Мы с женой решили что на всякий случай лучше уехать на недельку в Ивано-Франковск и 23его числа вечером уехали налегке сменить обстановку, а дальше вы все уже знаете из новостей.

В Киеве остался мой компьютер, а в голове мысль: "Не судьба"

После этого развернул локально базу данных mysql в локальном k8s-кластере с помощью minikube + helm(взял 3 версию, до этого использовал 2, из явных плюсов увидел только отсутствие tiller)+ чарт bitnami/mysql(конфигурацию чарта опущу, там все по-умолчанию):

Спроектировал структуру базы данных, получилась не очень красиво, из-за большой вариативности данных, но это можно переделать потом:

Пара заметок по структуре базы данных:

- таблица recipe_parser и некоторые вспомогательные поля нужны для сохранения прогресса парсинга сайта между перезапусками парсера

- выбрал кодировку utf8mb4, потому что в контенте достаточно много emoji, и обычный utf8(трехбайтовый) их не может хранить

За структуру проекта для парсера, я взял golang-standards/project-layout. В принципе для такого мелкого приложения его можно было не использовать, но может кому-то будет полезно знать что есть такая штука, когда будет думать как структурировать проект. Получилось как-то так:

Соответственно:

* recipe-parser - это helm-чарт который я создал выше

* sql - папка с миграциями
* data - это папка с данными базы данных, ее необходимо хранить на хосте, чтоб не потерять данные если мой локальный кластер случайно удалится

* все остальное - код связанный с парсингом, конфиги, команды

Для написания самого парсера я использовал следующие пакеты:

- PuerkitoBio/goquery - для парсинга DOM страниц

- jmoiron/sqlx - для работы с базой данных

- sirupsen/logrus - как логгер

- spf13/cobra - для создания команд

- spf13/viper - для конфигурации приложения(yaml в папке configs)

Сам код парсера не вижу смысла выкладывать(технически он несложный), получились такие этапы:

- спарсить категории/подкатегории и записать в базу

- спарсить ссылки рецептов и записать в базу

- скачать все страницы с рецептами и записать на диск(кстати получилось достаточно много, почти 9gb данных):

- считать с диска страницы, распарсить и записать в базу данных

Везде где можно, я параллелил задачи с помощью горутин и буферизированных каналов для контроля количества потоков. Также на сайте присутствовала защита от ботов, но я ее обошел за счет того, что она работала неправильно. В результате получил на выходе базу данных с ~500 категориями и ~90к готовых рецептов с заголовком, описанием, картинками и шагами приготовления. Еще было бы неплохо выкачать все картинки и закинуть в свое облако(использую space от digital ocean), но это пока можно отложить.

На написание парсера и сам парсинг я потратил примерно три вечера. Конечно все то что я описал можно было не делать, но те базы данных что продаются в интернете гораздо меньше и хуже структурированы чем то что я собрал сам, тем более я получил кучу полезного опыта в процессе. С радостью отвечу на ваши вопросы, некоторые моменты я опустил, чтоб пост не получился сильно большой.

В следующем посте собираюсь написать небольшой бекенд на php (и конечно засунуть все в docker :) , с которым будет работать мобильное приложение.