g9rga

Недалеко от квартиры 23 февраля оставил машину, потому что место спокойное, было кому за ней присмотреть. Знать бы заранее что случится, ни за что бы не оставил. Было:

Стало(фото скинули жильцы с жк):

Есть страховка, но военные действия это не страховой случай.

После этого поехали с братом смотреть что с коммерческим помещением:

Окна все выбиты, но товар арендатора цел, спасибо решеткам. Мы предусмотрительно захватили с собой пленку чтоб их заклеить, на первое время пойдет:

Больше пока ничего делать не будем, неизвестно будет ли второй заход на Киев, не вижу смысла что-то сейчас ремонтировать.

По частному дому сделаю отдельный пост, хочу рассказать как шло строительство.

1 часть

Исходный код парсера и остальных компонентов приложения положил под систему контроля версий git, в качестве бесплатного хостинга приватных репозиториев я использовал github. В принципе, ничего сложного в настройке нет, создал репозиторий на github и проинициализировал его локально:

После этого развернул локально базу данных mysql в локальном k8s-кластере с помощью minikube + helm(взял 3 версию, до этого использовал 2, из явных плюсов увидел только отсутствие tiller)+ чарт bitnami/mysql(конфигурацию чарта опущу, там все по-умолчанию):

Спроектировал структуру базы данных, получилась не очень красиво, из-за большой вариативности данных, но это можно переделать потом:

Пара заметок по структуре базы данных:

- таблица recipe_parser и некоторые вспомогательные поля нужны для сохранения прогресса парсинга сайта между перезапусками парсера

- выбрал кодировку utf8mb4, потому что в контенте достаточно много emoji, и обычный utf8(трехбайтовый) их не может хранить

За структуру проекта для парсера, я взял golang-standards/project-layout. В принципе для такого мелкого приложения его можно было не использовать, но может кому-то будет полезно знать что есть такая штука, когда будет думать как структурировать проект. Получилось как-то так:

Соответственно:

* recipe-parser - это helm-чарт который я создал выше

* sql - папка с миграциями
* data - это папка с данными базы данных, ее необходимо хранить на хосте, чтоб не потерять данные если мой локальный кластер случайно удалится

* все остальное - код связанный с парсингом, конфиги, команды

Для написания самого парсера я использовал следующие пакеты:

- PuerkitoBio/goquery - для парсинга DOM страниц

- jmoiron/sqlx - для работы с базой данных

- sirupsen/logrus - как логгер

- spf13/cobra - для создания команд

- spf13/viper - для конфигурации приложения(yaml в папке configs)

Сам код парсера не вижу смысла выкладывать(технически он несложный), получились такие этапы:

- спарсить категории/подкатегории и записать в базу

- спарсить ссылки рецептов и записать в базу

- скачать все страницы с рецептами и записать на диск(кстати получилось достаточно много, почти 9gb данных):

- считать с диска страницы, распарсить и записать в базу данных

Везде где можно, я параллелил задачи с помощью горутин и буферизированных каналов для контроля количества потоков. Также на сайте присутствовала защита от ботов, но я ее обошел за счет того, что она работала неправильно. В результате получил на выходе базу данных с ~500 категориями и ~90к готовых рецептов с заголовком, описанием, картинками и шагами приготовления. Еще было бы неплохо выкачать все картинки и закинуть в свое облако(использую space от digital ocean), но это пока можно отложить.

На написание парсера и сам парсинг я потратил примерно три вечера. Конечно все то что я описал можно было не делать, но те базы данных что продаются в интернете гораздо меньше и хуже структурированы чем то что я собрал сам, тем более я получил кучу полезного опыта в процессе. С радостью отвечу на ваши вопросы, некоторые моменты я опустил, чтоб пост не получился сильно большой.

В следующем посте собираюсь написать небольшой бекенд на php (и конечно засунуть все в docker :) , с которым будет работать мобильное приложение.

Это первый пост из серии о том, как я сам делаю мобильное приложение, от идеи до реализации. Надеюсь кому-то это будет интересно как с технической стороны, так и для понимания процесса.

Сам я уже порядка восьми лет работаю бекенд-разработчиком (пишу преимущественно на php), но в свободное время люблю выучить что-то новое, тем более профессионального развития на текущем месте работы как такового нет.

Еще в прошлом году я полностью перешел на удаленную работу и для меня остро встал вопрос готовки еды. Я подумал о том что хорошо бы найти достойное приложение с рецептами, которое будет соответствовать некоторым требованиям:

- Бесплатное

- Без запроса личных данных понапрасну

- С умеренным количеством рекламы

- Большая база рецептов

- Поддержка оффлайн режима работы

- И различные мелкие фичи, например поиск по ингредиентам, список покупок если собрался что-то готовить и т.д.

В принципе, такие приложения есть, но я не буду программистом если не сделаю свой велосипед :)

Основные вопросы которые мне нужно решить для написания приложения:

- Где взять базу данных с рецептами?

- Какой функционал изначально должен быть в приложении?

- Какой технический стек нужен для реализации приложения?

Обо всем по порядку:

Поскольку я не повар, да и времени жалко на то чтоб создавать рецепты самому, первое что я решил - это купить готовую базу данных в интернете. К сожалению предложений не так много, да и те что есть сомнительного качества. Потому я решил спарсить существущий сайт с рецептами. Предвещая вопросы законно ли это, отвечу - законно, но есть нюансы, больше информации можно найти в интернете.

Какой функционал изначально должен быть в приложении?

Это не первый мой личный проект, потому я давно для себя решил, что лучше зарелизить что-то в минимальном обьеме и наращивать функционал постепенно, чем строить космический корабль и не достроить его. Для себя я решил, что в первой итерации приложения будет:

- категории с рецептами, непременно с картинками

- поиск по рецептам и категориям

- избранные рецепты(нужно же отмечать те рецепты что мне понравились, чтоб использовать их потом еще раз :)

Какой технический стек нужен для реализации приложения?

Поразмыслив, я предварительно решил остановиться на:

- kubernetes + docker(containerd) + helm3 для локальной разработки и live

- golang для парсинга данных

- mysql в качестве хранилища данных

- php для бекенда, мобильное приложение будет получать данные из api

- elasticsearch - поисковый движок для поиска

- react native - платформа для мобильного приложения. У меня уже есть опыт написания нескольких приложений на этой платформе, тут не будут выдумывать ничего нового. Дополнительно возьму какой-то свободный UI kit, предварительно UI kitten, еще не решил.

На момент написания этого поста, я уже спарсил рецепты и сохранил их в базу данных, подробнее опишу в следующем посте.