Telegram бот

Видимо, этим объясняется сегодняшний набег пользователей:

Сегодня я расскажу, что появилось нового в боте со времени последнего поста на пикабу.

Персональные настройки

Теперь вы можете настроить вид результатов поисковой выдачи, сортировку страниц и порядок отображения результатов (например, на смартфоне всё проматывается вниз, и чтобы увидеть топ при обычном (прямом) порядке, приходится листать наверх).

Приватные клоны этого бота

Приватный клон - это бот, владельцем которого являетесь вы, но работает он на том же самом backend (сервере и базе), что и публичный. Вы создаёте через BotFather бота с тем никнеймом, каким пожелаете, и высылаете нам токен (подробная инструкция в команде бота /my_bot). Удовольствие это не бесплатное, т.к. ваш экземпляр также будет кушать память на сервере, а сервер как водится не резиновый и сам тоже не бесплатный =). После анонса, мы посмотрели на то, сколько человек выразило желание иметь таких клонов, и пришли к выводу, что такое количество ботов переполнит имеющиеся у нас мощности в несколько раз, поэтому так.

Зачем это вообще может быть надо? В основном как гарантия, что в случае блокировки публичного, "основного" бота вы не останетесь "без света" и по-прежнему сможете искать и качать, т.к. про ваш личный бот никто знать не будет (кроме того круга лиц, с которым вы решите поделиться).

Невидимые улучшения

Улучшения в сфере оптимизации программ часто ускользают от внимания пользователей, однако они есть! =) В частности, были серьёзно сокращены размеры таблиц БД для поиска и хранения данных, исправлены упоминавшиеся в комментариях баги и тому подобное.

Welcome! Не стесняйтесь сообщать о багах -- это можно сделать не только в комментариях, которые мы внимательно читаем, но и напрямую -- через команду /f бота.

Статистика использования бота

С момента первого поста на пикабу и активного старта публичного использования этой разработки прошло почти три месяца. Чему сразу можно порадоваться: нас не забанили\заблокировали ещё, несмотря на:

• Всего ботом воспользовалось более 30 тыс. человек

• Ежедневно в среднем приходит около 1700 поисковых запросов

• Всего обработано более 150 тыс. поисковых запросов

• Ежедневно приходит около 400 новых пользователей

• Ежедневно бот используют чуть менее 1000 человек

• Ежедневно в личку (через /f) кто-то пишет что-нибудь приятное =)

Из возможных минусов - популярным этот проект назвать сложно. Хотя по запросам "телеграм бот торренты" и подобным ссылки на мои посты и бота можно найти на первой странице что в гугле, что в яндексе.

Монетизация

Фактически вся монетизация и поддержка проекта до недавнего момента осуществляется через систему донатов пикабу. Никакой рекламы и подобного нет и не планируется. Выражаю благодарность всем, кто донатит на поддержку, на эти средства мы содержим сервер и посвящаем немного свободного времени поддержке этого проекта.

Что может быть дальше?

В планах разной степени дальности следующие возможности:

• Различные топы раздач по востребованности в поиске на текущей неделе, например

• Подписка на обновления раздач (например, непрерывно обновляющейся раздачи сериала)

• Другие боты альтернативного поиска (не только торрентов).

• ??? - предлагайте свои идеи в комментариях!

Всем дочитавшим до этого места спасибо за внимание; недочитавшим, впрочем, тоже! =)

Мой прошлый пост про Telegram бота улучшающего фото с помощью нейросетей https://t.me/photo_enchase_bot набрал много отзывов и плюсов!
Благодарю всех кто помогал тестировать и находил ошибки)

На картинке сравнение как получилось улучшить очень размытое фото из соц сетей.

Комп работал эти дни в режиме нон стоп специально для пользователей с пикабу! Хотя изначально я планировал выключать его на ночь)

Новости для тех кто подписался и следит за ботом:
- была заменена нейросеть, на более современную, которая улучшает лица более естественно даже в ужасных условиях (прошлая нейросеть выдавала немного страшные варианты)
- были учтены ошибки по отправке ботом готового результата обратно пользователю, оказывается документом файлы можно передавать весом до 20мб, а фотографии до 5мб и есть ограничения на отправку больших фото (не больше 10000 суммарно ширина + длина)
- для изначально больших фото убрал апскейл х2
- добавлено ограничение на очередь файлов, пришлось не принимать одновременно более 10 файлов от одного пользователя.
- добавлен счетчик файлов в очереди, теперь при добавлении нового фото будет понятней сколько придется подождать.

В планах много работы, надеюсь получится сделать действительно стоящий сервис:
- освоить работу с базой данных на Python (для хранения настроек пользователей)
- освоить API TElegram для работы с кнопками в чате с ботом.
- добавить возможность выбора нейросети (прошлая нейросеть в некоторых случаях делала более красиво субъективно)
- добавить возможность выбора между реалистичностью и дорисовкой (сейчас нейросеть улучшает максимально реалистично)
- добавить возможность отключить отдельно улучшение лиц или фона (бывают случаи когда достаточно просто почистить фото и увеличить разрешение или наоборот)
- изучить возможность использования обработки фотографии нейросетью прям в скрипте бота, сейчас для каждой фотки каждый раз заново создается процесс обработки, а по идее это лишняя трата ресурсов. Если получится это решить то должна повысится скорость обработки и очередь будет быстрее проходить.

Как пользоваться ботом? Просто начните диалог с https://t.me/photo_enchase_bot отправьте ему фото, которое хотите улучшить (до 10 штук подряд). Если бот не ответит просто оставьте как есть, когда выйдет онлайн ответит.

P.S. у кого хорошо получилось улучшить фото делитесь в комментах, всегда радуюсь когда кому-то моя работа пригодилась)

Переходим в бота, тыкаем Start...

Кликаем help, для выбора режима работы

На данный момент, реализовано три режима, представленные на скрине. Все предельно просто. Суть первого режима понятна из названия - бот принимает входящее голосовое, распознает речь и возвращает ответ в текстовом формате. Машинная переозвучка работает по тому же принципу, за исключением того, что в качестве ответа, бот пришлет голосовое сообщение с синтетически переозвученным текстом. Изменение тональности вернет исходное голосовое, с измененной на случайнуюю величину (внезапно!) тональностью, прямо как в фильмах про шпиёнов.

Пример использования функции распознавания речи. Выбираем режим, отправляем боту голосовое сообщение, получаем ответ о начале обработки:

По окончании обработки, которая обычно занимает несколько секунд, получаем ответ:

Вот, собственно, и все! Остальные функции работают по тому же принципу. Помимо записывания голосовых непосредственно в самом боте, можно пересылать ему сообщения из других чатов. Кроме того, существует возможность добавить бота в беседу, где он будет обрабатывать сообщения всех участников в потоковом режиме. В этом случае, для каждого участника можно выбрать свой режим работы.

Обращаю отдельное внимание на то, что обработка голосовых сообщений происходит на 3rd party сервере (на моем), что звучит как потенциальная угроза утечки информации. Я, разумеется, даю честное слово, что голосовые сообщения не остаются на сервере по окончании процесса обработки, но тем не менее, заклинаю вас не использовать Soulcatcher, для совершения противоправных действий, а так же, для обработки чувствительных данных, таких как пароли, логины и имена ваших котеек.

Благодарю вас за время, потраченное на чтение поста и надеюсь, что бот окажется кому-то полезным =)

По ссылке ниже, вы попадете в репозиторий бота на моем Github, где сможете подробнее ознакомиться с функционалом, стеком использованных технологий, а так же узнать тайну отсылки в его названии. Мой телеграм для связи можно найти как в самом боте, так и на Github.

https://github.com/Raiksler/Soulcatcher-voice-changer

Бот получает ваше сообщение и делает с ним несколько вещей. Во-первых, из сообщения удаляются некоторые специальные символы (например, знаки пунктуации и всякие $*^@). Во-вторых, запрос разбивается на отдельные слова.

На этом этапе может обнаружиться, что ваш запрос пустой. Тогда вам отправляется сообщение, указывающее на невозможность поиска.

Далее нужно собственно какое-то хранилище знаний о существующих торрентах, где можно этот самый поиск производить. В нашем случае это собственная база данных, содержащая относительно актуальную информацию о состоянии раздач на рутрекере. О том, почему было выбрано именно такое решение, я расскажу ниже. Пока что отметим, что информации о раздачах много, а полезной для нас среди неё маловато. Например, когда пользователь ищет что-то, как правило это часть названия раздачи (этому способствует бушевавшая в своё время на рутрекере модерация раздач, требовавшая строгих правил оформления), название раздела, имя файлов.

База для поиска устроена крайне примитивно: у нас есть keyword - ключевое слово, по которому будем искать соответствие, ну и адрес раздачи, которой этот keyword соответствует. Получается, что построив индекс базы данных по полю keyword, мы сможем быстро находить вхождения этого слова в базе. Сами keyword'ы мы будем брать из названия раздачи, названия раздела, и некоторых файлов из раздачи.

Теперь осталось соединить ваш запрос и базу. Для этого ещё нужно проследить, чтобы наши keyword были такого же вида, как и слова из запроса после предобработки (см. выше). Например, если мы удаляем какие-то спецсимволы из слов поискового запроса, они также должны удаляться из keyword, иначе чуда не произойдёт.

Ну и конечно же, базу желательно взять побыстрее, т.к. всем хочется, чтобы их запросы обрабатывались как можно быстрее. Поэтому выбор был сделан в пользу ClickHouse. Выглядит поиск подходящих под ваш набор ключевых слов топиков примерно вот так:

Помимо самого факта вхождений, здесь проверяется, чтобы все ключевые слова из запроса были найдены для данной раздачи (topic_id). Т.о. если хотя бы одного слова из вашего запроса в индексе не нашлось, такая раздача не будет вам показана.

Немного статистики: всего уникальных ключевых слов в индексе на сегодня содержится 1,144,565 - что не так много.

Описанная выше схема является довольно примитивной для того, чтобы называться полноценной системой поиска, однако она рабочая. Теперь ответы на другие вопросы, которые могли у вас возникнуть, либо уже были заданы в комментариях.

Почему нельзя просто использовать поиск рутрекера?

Можно, и более того: тогда вы точно найдёте то, что искали бы на рутрекере.

К сожалению, плюсы использования поисковой системы рутрекера на этом заканчиваются.

Обратите внимание, что на рутрекере используется приведение к некоторой базовой морфологической форме, поэтому черная = черный, весны = весна. Из-за этого в результатах могут появиться такие странные находки. У нас вы получите на тот же запрос такое:

Здесь же хочется отметить, что в отличие от поисковой системы рутрекера, на мою можно повлиять, оставляя пожелания и комментарии, которые помогут мне в дальнейшем развитии проекта и сделать поиск лучше.

Вторая и ещё более важна причина использовать свой поиск: независимость от состояния форума. Форум может быть отключён для профилактических работ именно тогда, когда вам нужно что-то поискать, либо может быть вообще удалён, не выдержать DDoS и упасть, да много по каким причинам быть недоступен. А сиды и magnet-ссылки работают и без форума, поэтому найти нужное будет возможно даже в условиях недоступности рутрекера. Ну а скачать найденное получится, конечно, только при наличии сидов.

Третья причина не использовать поиск форума заключается в том, что нужно будет отправлять и получать поисковые запросы на форум. Так как у форума нет API для поисковых запросов (напишите, если нашли, у меня не получилось), то придётся написать свою. Но всё станет медленнее, потому что вам придётся что-то отправлять и ждать ответа от другого ресурса в сети. Обратите внимание, насколько быстро вы получаете сообщение от бота! Даже в моменты, когда первый пост обрёл популярность и в первые сутки случится пикабу-эффект, пиковая нагрузка была далеко до предельной.

Откуда база данных для поиска, и как её самому сделать?

Здесь тоже никаких секретов быть не может, просто берём и парсим весь рутрекер =)
Для того, чтобы не положить форум, одна итерация обновления базы и индекса растягивается от пары до шести часов. А, ну ещё можно использовать "базы", выложенные на самом рутрекере (только обновляются они раз в месяц в лучшем случае).

Если хотите потренироваться, а парсингом не хочется заниматься - можно взять их. К слову, будьте готовы, что там вас в качестве базы будет ждать просто 3-х гиговый XML-файл. У нас же это выглядит как-то так (posts это база вообще всех постов рутрекера и не участвует пока что в процессе):

Обратите внимание, что места на жестком диске для подобной реализации вам понадобится менее 1 Гб, что делает проект относительно дешевым для размещения на каком-нибудь хостинге.

Спасибо, что дочитали до этого места! Я очень рад, что людям стал интересен и полезен этот проект. С момента первого поста на пикабу я внёс несколько ощутимых изменений в бота, подсказанных пользователями. Приглашаю всех, кому это актуально, воспользоваться моим ботом:

@rutracker_org_test_bot

P.S.: Да, всё ещё "test".

Пара прям свеженьких историй от меня про то, как не надо мешать алкоголь и лекарства (этого не стоит делать вообще, но если очень хочется, то некоторые можно).

Первая. Вызвали меня на консультацию в реанимационное отделение городской больницы. Наш старый (по анамнезу, а не по возрасту) пациент решил отметить выписку, выпив полведра пива. На ночь скушал привычную сотку азазалептина и отправился в страну Делирию. Достали его с милицией из какого-то притона, где он допивал своё ведро пиваса, попутно гоняя «таксистов» дрыном по потолку, чем очень развлекал присутствующих. По пути в больницу он начал загружаться, рухнуло давление и маршрут «Скорой» был изменен на реанимацию. Двое суток в коме, на третий день опять делирий. Общались мы уже на четвёртый. Ничего не помнит, дезориентирован в месте, времени, но меня узнал. Забрал в родной дурдом, теперь у нас капается.

Вторая. Любимая супруга стала жаловаться, что праздники как-то подозрительно стали быстро заканчиваться обниманием с белым другом. Причём она человек очень малопьющий. Кружка пива проходит нормально, а вот вторая уже начинает сопровождаться тошнотой, головокружением и другими неприятными последствиями. Самое противное, что на следующий день сильно легче не становится. На третью стадию алкоголизма она не тянет, поэтому начали копать. Оказалось, что она недавно стала принимать метформин для снижения уровня сахара в крови. Я вышел в интернет с этим вопросом, а потом и в свой родной бот. Оказывается там всё есть, что надо (своими руками вбивал и забыл). И всё сложилось — сахароснижающие препараты дают нехорошую реакцию со спиртным в виде лактоацидоза. Стала пропускать приём — всё пропало.

Информация и ресурсы, где её можно быстро добыть — никогда не бывают лишними.

Поэтому, граждане пикабушники и пикабушницы, не пьянства ради, а здоровья для — загляните и посмотрите, что можно, а что нет. Тыкнуть в бот всяко проще, чем лазить по РЛС или Видалю в поисках данной совместимости, если уж возник такой вопрос.

Алкобот Знаева

P.S: теперь там можно оставлять алкотвиты, получать достижения и делиться ими, а также узнать, какой сегодня праздник ).

Коммент для минусов оставлю внутри, не топите, полезная ведь штука и бесплатная.