Расскажу как я решил спарсить кучу сайтов и торентов с аудиокнигами, и сделать наконец удобный телеграм бот с аудиокнигами t.me/knigarnya_bot

Что я имел на старте:

• 1 год самообучения Python

• 1 год опыта разработки простых телеграм ботов

• Много экспериментов с ChatGPT

• Эксперименты с MongoDB для удобного хранения сложных структур данных

• Сильное желание что-то запилить

Я фанат аудиокниг и давно ищу идеальный плеер с книгами

В интернете в открытом доступе достаточно много ресурсов, где можно слушать аудиокниги, но практически везде это ужасно неудобно. Обычно это или древний сайт, или озвучка не продолжается после окончания главы, или ничего не проигрывается при выключении экрана телефона, или мало книг.

В идеале бы конечно хотелось, чтобы ты мог просто зайти в Я.Музыку и послушать любую аудиокнигу. Оказывается так нельзя. Часто даже на официальных ресурсах нельзя купить то, что уже было кем-то озвучено.

Пришла следующая идея - поискать боты/каналы в телеграме. Хороших нет

Я изучил десятки ботов. Почти все что я нашел имело ряд существенных недостатков: или неудобно слушать, или нельзя самому искать книги, или мало книг.

В каналах слушать тоже неудобно - ты не можешь сам выбирать, что послушать. Также бесит, что нужно подписываться на спамерские каналы.

А что если самому попробовать парсинг книг?

Я подумал, может просто сделать простой скрипт, который парсит один известный сайт и скачивает мне аудиофайлы. А я их слушаю с телефона.

У меня есть доступ к ChatGPT. Я подумал, что если он за полчаса сможет объяснить мне как парсить сайты и сделает простой парсер, то можно работать.

Приступил к диалогу с нейросеткой.

ЧатЖПТ попросил у меня html-текст странички сайта. Я ему дал текст на вход, и через минуту у меня был готовый парсер, который мог скачивать кучу интересных данных про книги. Еще через полчаса я умел получать ссылки на аудиофайлы и скачивать их.

Ну и в общем парсинг работал, он качал книги! Я был очень доволен!

Но понял, что такой способ все еще неудобен - не хочется постоянно руками запускать скрипт, думать где хранить файлы, потом искать среди них нужные, и тп.

Python скрипт это хорошо, но Телеграм Бот лучше

Я решил, попробовать использовать внутренний плеер телеграма, чтобы слушать было еще удобнее.

• У меня уже есть опыт разработки ботов

• Есть доступ к ChatGPT

• Телеграм-бот умеет посылать файлы до 50МБ, что вообще для 95% глав достаточно

Я попросил нейросетку еще научить мой скрипт искать нужные книги, закачивать их в телеграм бота, обрабатывать сложные случаи и ошибки.

Нейросетка со всем справлялась на ура! Бот заработал и присылал мне нужные главы в том порядке, в каком я хотел.

Чтобы было доступно реально много книг, я решил парсить несколько сайтов - уже пригодился Selenium и Pyppeteer для асинхронного парсинга

Некоторые сайты сложно парсить - там нужно имитировать человека.

Для этого подошел селениум. ЧатЖПТ снова рассказал подробно как это делается - и это был отдельный кайф видеть, что программа ведет себя как человек на сайте.

Pyppeteer же это еще более крутая библиотека, она может делать много разных действий асинхронно (=почти параллельно)

Если сначала в боте было доступно около 40000 книг, то сейчас уже более 120 тыс.

Кстати, для интерсующихся волшебная штука: https://github.com/ultrafunkamsterdam/undetected-chromedriver

В общем так я сделал бота и открыл его в паблик

Его можно использовать абсолютно бесплатно и слушать минимум 3 новые книги в месяц. Я посчитал, что этого более чем достаточно для среднего пользователя.

Буду рад отзывам на бота t.me/knigarnya_bot

Кошондра немного недовольная из-за размеров коробки...

Вот эта явно лучше 🙂

Мы жрём, срём и орём. А ещё мы тренируемся. Ещё денëк-другой, и полетим мы свободной птицей. Мы -- это подобрыш стриж. Всего шесть дней прошло, а я уже выжатая как лимон. Тооолько начнёшь что-то делать, глядь на часы -- кормить пора. И так целый день. С шести утра до девяти вечера. Дома и на работе. Про траты не спрашивайте, мне от этих вопросов не хорошо. Кормом я так затарилась, что ещё троих хватит вскормить. Птенец так орёт, что я всё время думаю, что он голодный. Ну и раскормила чуток. Он должен весить 35-40 гр, максимум 43 на выходе, а он уже у меня 45гр. Зацените

Судья Арбитражного суда Тульской области Григорий Лось задержан за мошенничество и посредничество во взяточничестве. Следственный комитет РФ возбудил в отношении него уголовное дело. До 2012 года он был заместителем Арбитражного суда Тульской области. Потом срок его полномочий истек, и он продолжил работу на должности судьи. С 2019 по 2021 год судья через посредника получил 4,5 миллиона рублей от представителя одной из участвующих в судебном разбирательстве сторон. Он обещал, что передаст эти деньги другому судье для того, чтобы тот изменил свое решение по иску одной из компаний и принял «нужное» судебное решение по делу. На самом деле все деньги оставил себе. Второй эпизод связан с инициативой Лося предложить своему знакомому стать посредником в том, чтобы получить взятку в 1,5 млн рублей от представителя заявителя и добиться «нужных» исковых требований. Знакомый сделал вид, что согласился, но передал информацию об этом в ФСБ, которое и контролировало процесс передачи денег. Миллионных взяток бывшему заместителю председателя Арбитражного суда Тульской области было мало. Следствием был выявлен эпизод с мошенничеством в интернет магазине Wildberries. Лось заказал там 36 товаров на сумму 146 тысяч рублей. Получив их, он зашел в примерочную кабинку и заменил там новые вещи на старые. После чего потребовал вернуть деньги за некачественный товар. Сотрудница пункта заметила подмену и вызвала полицию.

Ссылка:

https://www.kommersant.ru/doc/6096539