Серия «Telegram Bot для поиска торрентов»

Числа означают доли заимствованных раздач к общему числу раздач на трекере. В колонке "всего": сколько всего на трекере раздач, которые есть в других местах. Так мы можем оценить, насколько контент, представленный на трекере, может быть уникальным. Чем больше процент заимствований, тем краснее цвет хуже. Помимо этого, пересекая строки и столбцы, можно понять, с какими трекерами больше общего. Таблица не симметричная, потому что представлены именно доли, и читать её следует строка к столбцу. Например, берём строчку rutracker и столбец piratebay — получаем, что 0.9% раздач на rutracker являются общими с piratebay, но не наоборот (потому что количество раздач на разных трекерах разное, а размер пересечения в обоих случаях одинаковый). Наоборот ("сколько на piratebay общих раздач с рутрекером") будет уже 0.49%.

Отсутствие чисел = не найдено вообще общих пересечений, а 0.00% означает, что доля составила малое число, больше нуля, но меньше 0.01%.

Что же мы видим?

Для некоторых ничего нового, но теперь по крайней мере можно оценить свои догадки количественно.

• booktracker почти половину своего контента разделяет с рутрекером (давняя и понятная история), при этом этот же контент на рутрекере составляет чуть более процента.

• kinozal "берёт" на rutracker почти четверть своего контента

• nnmclub и русторка одного поля ягоды, причём интересно — почти одинаковая доля контента, общего с трекером rutor. Впрочем, пересечение между ними явно не очень большое, но об этом мы ещё поговорим

• тапочки и рутрекер почти одинаковы в доле уникального контента на своих раздачах, однако если вспомнить, что на rutracker около 2 млн. раздач, а на тапочках почти в 100 раз меньше (не шутка - около 30 тыс. раздач), то... Выводы сделайте сами.

• piratebay слишком большой, чтобы иметь значительные доли пересечений с остальными трекерами

• раздачи в i2p (postman) обладают наивысшей относительной уникальностью. При этом умудряются всё-таки иметь пересечение с такими трекерами, как rutor, eztv и nnmclub, пусть и крайне незначительное

Как это считалось?

Была взята база торрентов по всем перечисленным трекерам, это первое. Откуда она у меня, можно почитать тут, тут, тут, и тут. Далее мы знаем, что каждый торрент обладает уникальной характеристикой, зависящей от данных, которые с помощью него раздаются - infohash. Если по-простому, это 40 буковок-циферок после волшебного слова btih: из magnet-ссылки, которая эквивалентна вашему торренту. В общем, это такой уникальный идентификатор торрента, имея который, мы уверены, что другой идентификатор к нашему торренту не подойдёт.

Зная это, посчитали, на скольких трекерах каждый идентификатор присутствует, и на каких. Так получилась таблица сверху.

Почему нет порнолаба?

Там наверняка всё отлично, даже неинтересно считать.

Вот неплохо бы качнуть что-то, но...

Нет, я не буду рекламировать свой телеграм бот для поиска торрентов сразу по всем вышеуказанным трекерам. Мы здесь не для этого, но если вдруг, то вы знаете.

И что?

А ничего. Выводы какие-то я сделал, но возможно вы с ними не согласитесь, или напишите интересные свои в комментариях.

Теперь и с данных трекеров возможно искать и скачивать раздачи более свободно, т.к. мы закончили необходимые работы над ботом для этого.

Теперь все могут насладиться свободным безлимитным поиском по вышеуказанным трекерам внутри Telegram-bot'а, которому от вас ничего не нужно, никаких номеров и смс, он просто работает для вас! Без рекламы (кого смущает отсутствие рекламы, см. /faq)!

Да что это такое вообще, ничего не знаю про эти трекеры!

• Тапочек.нет - известный торрент-трекер, специализирующийся на игровых релизах. Например, небезызвестная релиз-группа Механики выкладывает именно там свои раздачи. Форум закрытый с системой инвайтов. Чтобы зарегистрироваться, нужно приглашение участника форума. Вот и нас пригласили)

• Kinozal.tv - торрент-трекер, специализирующийся на релизах фильмов (преимущественно для русскоязычной аудитории). Количество торрентов для скачивания для нового пользователя ограничено 5 штуками в сутки. Закрыт многими провайдерами для прямого доступа.

  На обоих трекерах присутствует система рейтинга пользователя по скачанному/отданному. С помощью бота вы можете не переживать, что ваш рейтинг пострадает или послужит помехой для скачивания.

Да у меня впн есть, бот не нужен!

К сожалению, иногда наши любимые сайты не работают, а поискать и скачать очень хочется! Ну и вместо поиска на каждом из них теперь можно за один раз получить инфу с нескольких, без рекламы Азин, следящих cookie и прочего. Да и вообще, я предлагаю ещё один способ среди множества других, кому-то нравится, а кому-то нет, и это нормально и хорошо)

Живём уже более полугода, полёт нормальный!

Даже если случится какая-то беда на этот счёт, вы знаете, где смотреть новый никнейм для бота)

Ну и конечно, вышли далеко за пределы рутрекера и теперь у нас доступны раздачи с десяти крупнейших трекеров. Это могло бы быть про нас, хотя и так пишут всякое.

Сейчас в нашей коллекции почти 7 с половиной миллионов раздач с таких трекеров как

Ну сейчас все набегут и положат...

Нет, у нас за всё время не случилось такого, что бот недоступен из-за перегрузки по запросам, несмотря на пикабу-эффекты, когда десять+ тысяч человек в сутки заходило попробовать бот. Единственные минуты за всё время, когда он не работал -- это когда мы его перезагружали во время обновления. Стараемся это делать во время минимального онлайна и минимизировать импакт от этого с каждым релизом.

Подробнее с историей бота можно ознакомиться в моей серии постов. Приятных выходных!

P.S. Голосование для аудитории бота из пикабу за будущее бота по-прежнему продолжается тут: /vote_pikabu

На любые ваши вопросы готов ответить в комментариях, так же вы можете пользоваться обратной связью в личку через бота (/f). Спасибо!

@rutracker_org_test_bot

Что вы думаете?

Да-да, всё именно так и было 🤡. Буквально за несколько дней, используя функционирующий сервер рутрекера (специально только для нас в эти дни).

• Вот ещё пример:

Тут без комментариев.

• А вот ещё один человек написал инструкцию по нашему боту, и её даже какие-то буржуи (скорее всего, роботизированные) перевели и забрали себе. Может уже пора делать различные локализации, переключения языка и т.д.?

• Пользователи не могли влиять на способ ранжирования выдачи. Теперь могут, да ещё как! И даже могут выбирать, за какой период искать, на каком трекере или их комбинации, в каких категориях, и прочее.

• Вначале бот насчитывал всего 5 команд. Теперь никто не знает точно, сколько же у него различного рода свистелок и перделок, их количество измеряется десятками. Впрочем, часть из них служит для навигации по документации и описанию других 🔄 команд.

• Раньше: ручное обновление индекса, когда припрёт. Теперь: автоматическое непрерывное обновление.

O настоящем. Что недавно появилось в боте?

🧲 Online статус пиров раздачи

Теперь на странице с полученной magnet-ссылкой будет возможность проверить на нашем сервере доступность данного торрента прямо сейчас прямо по DHT (откуда вы всё равно и будете качать раздачу):

Не более чем через минуту-другую вам должно придти сообщение от бота с числом участников раздачи. Бывает, что найти не удаётся за короткое время, и поэтому возможны ошибки. По возможности бот вас уведомит при любом исходе поиска.

NB: На непопулярных раздачах с малым количеством пиров (1-2) ситуация, когда найти не удалось за минуту найти пиров — не редкость. При этом пиры могут найтись, если подождать подольше, но мы пока позволить себе этого не можем.

💾 Дополнительная информация о раздачах

Если вы нашли раздачу, которую уже кто-то смотрел в боте и/или поставил хорошую оценку, об этом будет написано в сообщении с magnet-ссылкой.

🔍 Поиск по свежим торрентам

Был добавлен поиск среди раздач, которые либо недавно добавили, либо недавно изменили. Для этого перед запросом нужно использовать команду /news (или её модификацию, подробнее в справке бота). По-умолчанию, если её так и написать, новым будет считаться всё, что было добавлено в базу за последние 2 дня.

Можно написать её иначе, указав точное количество дней, за которые будем искать. Например, /news7 будет искать за последнюю неделю. Пример:

Обратите внимание, что сначала пишется команда, потом сразу запрос. Если отправить просто команду без запроса, то бот напишет сообщение об ошибке.

📈Топы

Добавлены топы раздач, посмотреть все варианты можно с помощью /top_list

Например, запросив топ раздач по скачиваниям за последнюю неделю (/top_weekly), мы получим такое:

Это такая же страница выдачи, как и при обычном поиске, только ещё указано, сколько пользователей и сколько раз скачали (за неделю) с помощью бота данную раздачу.

Также можно посмотреть, что вообще сейчас модно искать. Например, /top_queryweek скажет, какие запросы (не раздачи!) оказались самыми популярными среди пользователей бота за последнюю неделю:

Фактически здесь будет топ-100, потому что в отличие от всех остальных поисковых запросов такие ограничены вглубь. Здесь также указывается, какой процент был успешен (success rate): видно, что не сразу появились (народ уже хотел, но ещё не выложили, может быть) результаты для подземелья и драконы: честь среди воров (#4). Можно сразу же посмотреть результаты поиска (искать).

🪲Исправления багов

• Исправлены все сортировки: теперь они работают глобально, а не только на странице выдачи. Раньше страницы формировались независимо от выбранного критерия сортировки, а по определенной внутренней мере релевантности, а сортировка применялась уже постранично. Так было сделано из-за особенностей реализации хранения данных. Теперь всё работает так, как вы ожидаете: сортировка по убыванию размера раздач, например, выдаст на первой странице все самые "тяжелые" релевантные раздачи.

• Улучшен поиск: ранее могли отсутствовать результаты из-за некорректной обработки входных данных. Также, теперь в случае отсутствия совпадений вам могут быть предложены результаты с нечетким совпадением (при этом вы будете предупреждены об этом вверху и внизу сообщения с выдачей):

• Hint: недокументированая команда (и так их полно!) /last_query производит поиск по вашему последнему запросу обычного поиска.

🔧 Новые настройки

Теперь можно посмотреть свои настройки (как сортируются результаты, формат вывода и прочее) в /my_settings:

Хорошо иметь возможность что-то дополнительно настроить, чем не иметь. В боте есть возможность подписаться на разного рода обновления раздач, о чем будет сказано ниже, на уведомления, связанные с работой бота (если вы конечно подписывались на всё это через /allow_notifies). Наверное, было бы удобно, если бы эти все уведомления приходили не в любое, а в заранее определенное вами время. Для этого добавлена опция /set_timezone. Там вы сможете выбрать довольно гибко 8-часовой интервал, когда вы хотели бы получать любые уведомления, на которые подпишитесь. В том числе и на

⚡️Обновления раздач по произвольному запросу

Тестируем функцию /sub, которая претерпела существенные изменения (по сравнению с тем, что описано тут). Теперь можно подписаться на произвольный запрос (напишите его после команды /sub):

На одного пользователя пока лимит на 5 запросов (подписок). В боте есть подробная справка /subs_help:

Управлять подписками можно через /my_sub:

Предполагается, что таким образом вы можете получать оповещения, когда в базах раздач появится что-то новое, подходящее под ваш запрос. Всех заинтересованных приглашаю попробовать!

А ещё у нас недавно GitLab так неудачно обновился, что почти потерялись все репозитории с кодом (так как заодно оказалось, что бекапы неполные и восстановиться из них нормально нельзя). Хорошо, что были локальные копии, из которые вручную всё восстановилось. Так что будьте аккуратнее: проверяйте, что вы можете восстановиться из бекапов!

Ну вот, вы дочитали (или промотали) почти до самого конца!

Будущее

Есть несколько идей, которые можно реализовать, и для того, чтобы выбрать наиболее востребованную, предлагаю принять участие в секретном голосовании специально для пикабу по адресу /vote_pikabu в боте. Там аж 8 новых фичей, которые можно реализовать. Какие из них будут сделаны первыми, решаете вы! Проводить будем неделю, с 8 по 14 мая включительно. После этого за неделю будет сделано то, что вы выберете. Если победят сразу несколько вариантов (чего нельзя полностью исключать), они все будут реализованы. Чтобы посмотреть варианты и проголосовать, напишите

/vote_pikabu

в боте. Помимо того, что вы там увидите, планируется расширить базу торрентов другими известными трекерами, и непрерывно улучшать качество поиска.

P.S.: Есть и вопросы без ответов:

А что вы об этом думаете?

А вот раздел "Pr0n" доступен для поиска не будет, всё-таки у нас не порно-поиск.

I2P? Что это вообще?

Это такой усовершенствованный Tor - анонимная компьютерная сеть. Так, изначально сеть i2p была спроектирована с учётом предположения, что все промежуточные узлы являются скомпрометированными или злонамеренными (в отличие от того же Tor, где подобная ситуация легко ломает всю концепцию). О преимуществах и недостатках можно почитать (на русском) тут. Ещё могу рекомендовать такую статью: https://habr.com/ru/post/552072/

Сайты в сети i2p имеют соответствующий "домен" верхнего уровня .i2p и не откроются в вашем браузере без дополнительных ухищрений (по аналогии с .onion).

A kак оттуда kачать?

Так как присутствует "программа" "cross seed" (когда контент из скрытосети раздаётся и в обычную), возможно найти раздающих, используя полученную magnet-ссылку как обычно (словно она, допустим, с рутрекера, и открывать в обычном uTorrent/Flud/Transmission/etc). Однако, как правило, если вам понадобилось оттуда что-то качать, лучше разобраться с тем, как запустить bittorrent-клиент для I2P (из рекомендуемых связка i2psnark + i2pd).

Так или иначе, мы предоставляем возможность ознакомиться с очередным источником контента и узнать, что там можно вообще найти.

Всем хороших выходных!

Сегодня я расскажу, что появилось нового в боте со времени последнего поста на пикабу.

Персональные настройки

Теперь вы можете настроить вид результатов поисковой выдачи, сортировку страниц и порядок отображения результатов (например, на смартфоне всё проматывается вниз, и чтобы увидеть топ при обычном (прямом) порядке, приходится листать наверх).

Приватные клоны этого бота

Приватный клон - это бот, владельцем которого являетесь вы, но работает он на том же самом backend (сервере и базе), что и публичный. Вы создаёте через BotFather бота с тем никнеймом, каким пожелаете, и высылаете нам токен (подробная инструкция в команде бота /my_bot). Удовольствие это не бесплатное, т.к. ваш экземпляр также будет кушать память на сервере, а сервер как водится не резиновый и сам тоже не бесплатный =). После анонса, мы посмотрели на то, сколько человек выразило желание иметь таких клонов, и пришли к выводу, что такое количество ботов переполнит имеющиеся у нас мощности в несколько раз, поэтому так.

Зачем это вообще может быть надо? В основном как гарантия, что в случае блокировки публичного, "основного" бота вы не останетесь "без света" и по-прежнему сможете искать и качать, т.к. про ваш личный бот никто знать не будет (кроме того круга лиц, с которым вы решите поделиться).

Невидимые улучшения

Улучшения в сфере оптимизации программ часто ускользают от внимания пользователей, однако они есть! =) В частности, были серьёзно сокращены размеры таблиц БД для поиска и хранения данных, исправлены упоминавшиеся в комментариях баги и тому подобное.

Welcome! Не стесняйтесь сообщать о багах -- это можно сделать не только в комментариях, которые мы внимательно читаем, но и напрямую -- через команду /f бота.

Статистика использования бота

С момента первого поста на пикабу и активного старта публичного использования этой разработки прошло почти три месяца. Чему сразу можно порадоваться: нас не забанили\заблокировали ещё, несмотря на:

• Всего ботом воспользовалось более 30 тыс. человек

• Ежедневно в среднем приходит около 1700 поисковых запросов

• Всего обработано более 150 тыс. поисковых запросов

• Ежедневно приходит около 400 новых пользователей

• Ежедневно бот используют чуть менее 1000 человек

• Ежедневно в личку (через /f) кто-то пишет что-нибудь приятное =)

Из возможных минусов - популярным этот проект назвать сложно. Хотя по запросам "телеграм бот торренты" и подобным ссылки на мои посты и бота можно найти на первой странице что в гугле, что в яндексе.

Монетизация

Фактически вся монетизация и поддержка проекта до недавнего момента осуществляется через систему донатов пикабу. Никакой рекламы и подобного нет и не планируется. Выражаю благодарность всем, кто донатит на поддержку, на эти средства мы содержим сервер и посвящаем немного свободного времени поддержке этого проекта.

Что может быть дальше?

В планах разной степени дальности следующие возможности:

• Различные топы раздач по востребованности в поиске на текущей неделе, например

• Подписка на обновления раздач (например, непрерывно обновляющейся раздачи сериала)

• Другие боты альтернативного поиска (не только торрентов).

• ??? - предлагайте свои идеи в комментариях!

Всем дочитавшим до этого места спасибо за внимание; недочитавшим, впрочем, тоже! =)