Торрент поисковик. Возвращение в пиратскую гавань.

Вот пробежал еще день в открытом море, и наш пиратский корабль потихоньку приближался к гавани. Самое время закупиться провизией и продолжить наш путь к новым приключениям.

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост

"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.

Предыдущие статьи:

Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9 - Часть 10 - Часть 11

Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.

Ссылки на последнюю версию:

Windows 32/64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...

Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...

Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...

О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)

Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)

Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...

В этой новой версии много исправлений коснулись механизма репликации торрентов, который был серьезно сломан в последней версии. Теперь обмен торрентами между участниками работает корректно.

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост

Зопелил по линь 32 бита. Теперь поддерживаются обе (32 битные и 64 битные) Windows и Linux платформы (помимо мака). Все варианты сборок можно найти в релизе на гитхабе (https://github.com/DEgITx/rats-search/releases/tag/v0.17.0). Линуксоиды должны быть довольны.

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост
Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост

Новым нововведением стала настройка фильтров поступления торрентов.

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост

Пока что там 2 незамысловатых фильтра, один из них позволяет отсеивать торренты с определенным количеством файлов. Это важно, потому что большую часть места базы торрентов забивают как раз файлы, и можно серьезно почистить место, отфильтровав торренты с большим количеством хлама (например есть торренты с более чем 100k файлами).
Второй фильтр как раз позволяет фильтровать по определеннуму критерию названий торрентов, заданным регулярным выражением. К примеру что-то такое ^[А-Яа-я0-9A-Za-z.!@?#"$%&:;() *\+,\/;\-=[\\\]\^_{|}<>\u0400-\u04FF]+$ позволяет отфильтровать русские и английские торренты, и игнорировать торренты с иероглифами и другими символами.

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост

Можно придумывать и более сложные фильтры названий, но это уже по вашему усмотрению.

Определенных улучшений коснулась схема бутстрапа, осовременненая картинка взаимодействия крысок выглядит теперь как-то так:

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост

Как обычно жду ваших новых предложений, вопросов и т.п. в комментариях. Так же для ознокомления с программой рекомендую ознакомиться с предыдущими постами и, особенно, комментариями.

Торрент поисковик. Возвращение в пиратскую гавань. Торрент, Поисковик, Информационная безопасность, Крыса, Халява, Пиратство, Длиннопост
3
Автор поста оценил этот комментарий

Я так и не понял, можно ли в ней грабить корованы?

раскрыть ветку (1)
11
Автор поста оценил этот комментарий
Можно попытаться найти корован, который потом ограбить
6
Автор поста оценил этот комментарий
вот вот, окинул я это взглядом, и понял, что мне лень разбираться, чисто из уважения к проделанной работе не поставлю минус и закрою пост до лучших времен)
раскрыть ветку (1)
10
Автор поста оценил этот комментарий

ну и так спасибо )

7
Автор поста оценил этот комментарий

Вот например есть поиск в самом qbittorrent, чем тут лучше? Потому что в кюбите я этой функцией не пользуюсь. Во-первых, 99.9% информации и так есть на топовых трекерах. Во-вторых(на мой взгляд самая большая проблема), тот оставшийся 0.01% - с каких-то ноунейм торрентов и вообще не понятно, что качаешь. В-третьих, сидов на них надо ждать неделями, а качать месяцами.

Иллюстрация к комментарию
раскрыть ветку (1)
9
Автор поста оценил этот комментарий

Ну мне приходилось искать среди dht трекеров, конечно если ты ищешь последних Мстителей посмотреть - наверное этот вариант нормальный но не более, а вот если ищешь 25 гиговый плагин к ударной установке - трекерный поиск не помогает. Можно даже обратить внимание насколько на btdb больше торрентов чем на остальных. Есть еще проблема в том что данные сервисы не вечны и случайны, с ними довольно сильно борятся правообладатели. Изначательно же и этот проект был на онлайн платформе, но идея распределенного варианта мне понравилась больше - он отказоустойчив, более безопасен, но минусы свои тоже есть.

6
Автор поста оценил этот комментарий

Предлагаю ввести регистрацию и возможность комментирования торрентов, чтоб я мог написать типа: "эта какая-то з@лупа, не качайте!"

раскрыть ветку (1)
6
Автор поста оценил этот комментарий

была такая идея, возможно где-то в следующих версиях

показать ответы
Автор поста оценил этот комментарий

Простите, а почему не добавить русский язык? Не понимаю.

раскрыть ветку (1)
5
Автор поста оценил этот комментарий

ну в следующих версиях будет, нужно время )

показать ответы
Автор поста оценил этот комментарий

Api есть у данного приложения? Может ли выступать в качестве сервера по проксированию запросов например с мобильного устройства?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Ну там в основе идет клиент-серверная архетектура (морда приложения и есть клиент, который вполне может пойти и на мобильные девайсы), которую я стараюсь нарушать по минимуму, чтобы слишком не поломать совместимость в веб-версией (хотя она сейчас чуть сломана после перехода на десктоп, но не сильно, я как-нибудь все поправлю).
Четкое api не задукоментированно, но есть, после починки думаю можно будет достучаться через веб-сокеты либо прямыми post запросами.

показать ответы
1
Автор поста оценил этот комментарий

сори что под топом.
нашел чем помочь
- нужно более ярко выделять вкладки, иначе не понятно что нажато и нажато ли (которые в топе например). хороший способ - просто рисуешь подчеркивание кнопки (как на скрине)
- нужна возможность открывать найденный торрент в новом окне чтобы не терять результаты
- не всегда есть отклик на действия, фиг поймет ищет ли он или тупит и тд

Иллюстрация к комментарию
раскрыть ветку (1)
3
Автор поста оценил этот комментарий

хорошо

показать ответы
1
DELETED
Автор поста оценил этот комментарий

Одинокая крАса^^

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

крАсивая крыса )

Иллюстрация к комментарию
Автор поста оценил этот комментарий

linux WebUI есть в режиме сервиса?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

пока нет, выключено, я там постараюсь починить совместимость с веб версией где-то в будущем, тогда может будет и с webui в комплекте

показать ответы
1
Автор поста оценил этот комментарий

Меня чет смущают строки в логе

ssh error: Received remote port 0.0.0.0:20818 open request from IpAddress:52505
Attempting to forward remote port to 127.0.0.1:4445
Forwarded port opened successfully
ssh error: Forwarded port closed

Не могли бы вы прояснить чего там происходит?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Используется ssh прокси для обхода фаерволов и непрямых сетей, когда нужно обратное взаимодействие, этот механизм не работает для тех у кого прямое подключение. В данном случае оно может слетать - это не должно существенно сказываться на работе.
Большой промежуток между 2 последними сообщениями?

Автор поста оценил этот комментарий
@DEgITx, @JackVorobey, кто-нибудь - запилите, пожалуйста, туториал как этим чудом пользоваться!
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

у меня только краткий был, я постараюсь его расширить максимально https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...

показать ответы
Автор поста оценил этот комментарий
Скачал версию для linux, как установить под ubuntu?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Для ubuntu есть собранный deb пакет, лучше его наверное робовать, а так приложение в виде AppImage, типо запустил и все - юзаешь

1
Автор поста оценил этот комментарий

можно узнать твое субъективное мнение по поводу electron VS qt? че взял бы для следующего прода на 1к+ потенциальных юзеров?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Зависит от задачи и какой подход вам импонирует. У каждого свои минусы и плюсы. Минусы электрона в том что это браузер со всеми вытекающими - медленный, жирный, со своими проблемами, браузерными ограничениями, однако с приличным набором начальных пакетов из npm, что позволяет довольно много времени сэкономить на написании банальных вещей, если есть необходимые по назначению пакеты, ну и сам джаваскрипт гораздо лаконичнее по скорости написания кода. И портируемость на платформы и особенно на веб очень высокая.
С другой стороный отточный qt, где есть все для построения интерфейсов и даже больше, но такой сильной коробочности нету, в итоге почти любая задача на qt'e даже незначительная займет значительно больше времени и на написание и на выверку в виде тестинга, т.е. по факту готовых решений под коркретные задачи меньше, но и возможностей по собственному внедрению больше. Все решения будут более низкоуровневые. Код у кьюта очень качественный и выверенный, ничего лишнего. Если все писать по канунону то можно и на другие платформы портировать за минимум усилий, в том числе под мобильные.

Короче - если времени не очень много, вы не гонитесь за мистической быстродейственностью , само приложение не слишком замороченное, и, в особенности, если вы в ладах с html/css - думаю electron лучший выбор. Если же хочется эффективного решения, само приложение напоминает что-то в 100 сложнее чем чат с видосами из ютуба, никто не гонит по времени, и заказчик требует жестких рамок и качества - лучше наверное взять кьют. Но все это очень индивидуально, и тупо имхо )

показать ответы
Автор поста оценил этот комментарий

Окей, если на любой запрос выдаёт "no torrents for this search request were found", то в чем смысл? Настройки не менялись... port connections fully available

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Хм, а я все же нашел одну проблему связанную с поиском по базе собранной при помощи репликации, будет исправлено в 0.7.1, должно нормально в ней искать.

Автор поста оценил этот комментарий

Окей, если на любой запрос выдаёт "no torrents for this search request were found", то в чем смысл? Настройки не менялись... port connections fully available

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Подождите немного, там сверху должны быть rats peers которых больше 0 и торрентов у них должно быть больше 0, тогда можно будет искать (иногда перезаход помогает, потому что каждый раз новых крысок может подобрать). К тому же с прямым портом должно постепенно само начать собирать торренты и расширять вашу личную базу поиска.

показать ответы
Автор поста оценил этот комментарий
как с тобой связаться можно? чтоб не потеряться и на Пикабу не вылавливать
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

оставил контакты

Автор поста оценил этот комментарий

Вообщем если будет желание немного раскрутить эту тему (удаленное управление, предоставление сервиса по поиску магнетов (опять таки чтоб девайс не грузить)) - готов присоединиться как android dev. Ибо была идея проекта по схожей тематике

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Хорошо, буду иметь ввиду, я наверное через версию где-то постараюсь поправить часть с этим взаимодействием, к тому же давно просили уже отдельную серверную часть, чтобы на роутеры и т.п. запиливать. Потом можно будет обмозговать подобную приложуху на андроид т.е. я не против и тоже немного думал над этим.

показать ответы
Автор поста оценил этот комментарий

А портабл запилите?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Уже есть, https://github.com/DEgITx/rats-search/releases/tag/v0.17.0 в релизе для win платформ

Автор поста оценил этот комментарий

Ищем торрент, ставим на закачку, переходим в Downloads - белый экран. Больше никуда не переходит.

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Вроде где-то уже такое видел, но сам не натыкался, попробую выловить. На каждом торренте такое? Экран полностью белый без шапки?

показать ответы
1
Автор поста оценил этот комментарий

на русском будет?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Если про программу, то да, будет в одной из следующих версий

Автор поста оценил этот комментарий

@DEgITx, не планируешь запилить клиент-серверную версию? Удобно было бы, если на сервере ядро без гуя крутится в режиме 24/7, а на ПК/смарте гуй, ну и вебморду можно запилить.

Что то типа Transmission + Transmission remote GUI.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Как раз будет в какойто из следующих версий

Автор поста оценил этот комментарий

@DEgITx расскажи мне пожалуйста, у меня в проге бежит список с названиями, это значит что всё работает? торенты сохраняются на мой комп? в каком виде и куда? Заранее спасибо! Плюсую.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

да, этот как раз и означает что все ок и сохраняет базу, сверху вроде индикатор есть, где показано сколько сохранило по количеству

показать ответы
Автор поста оценил этот комментарий

Не хватает подгрузки описания

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

ну это одна из будущих фитч

Автор поста оценил этот комментарий

Вопрос а тут возможно посмотреть рейтинг раздачи? кол-во скачиваний сидов и т.д.?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

количество скачиваний оранжевым выделяется "xx completed" если удалось обнаружить
рейтинг пока детально нет, наверное где-то в следующих версиях будет

Автор поста оценил этот комментарий

@DEgITx взгляни на Tribler (поиск, скачивание и просмотр (видео) торрентов) и WebTorrent Desktop  (торрент-клиент для потоковой передачи торрентов), как варианты развития. А чего ты не пилишь посты на opennet.ru и linux.org.ru?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Меня там нет, хоть и почитываю, может у кого-нибудь есть возможность запилить?

показать ответы
5
Автор поста оценил этот комментарий

А может сделать в фильтрах кнопочки для стандартных запросов, а то не все умеют в регулярки?


P.S. (\s\s\s\s)*"(\w*/)*(\w*?)\.(png|jpg)"

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Да я вот тоже думал что-то такое сделать с кнопочками, но вряд ли многие будут что-то комплексное использовать кроме как японщину отсечь, в итоге всеравно кто-то ручками будет писать что ему надо. Кстати к файлам наверное тоже придется такую же опцию добавить.
К тому же как пример в данной регулярке - поиск картинок определенного типа. Тут скорее даже не фильтрация всех торрентов кроме как с такими файлами, а скорее какое-то выделение торрентов с таким содержимым или даже в поиск надо.

12
DELETED
Автор поста оценил этот комментарий

Так и не понял для чего это ПО и как им пользоваться

раскрыть ветку (1)
Автор поста оценил этот комментарий

Сейчас полностью пропали "external conection" - это следствие борьбы с телеграмом?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Главное чтобы пиры были - остальное не важно

Автор поста оценил этот комментарий

@DEgITx, не планируешь запилить клиент-серверную версию? Удобно было бы, если на сервере ядро без гуя крутится в режиме 24/7, а на ПК/смарте гуй, ну и вебморду можно запилить.

Что то типа Transmission + Transmission remote GUI.

раскрыть ветку (1)
Автор поста оценил этот комментарий
Я там такой же ноунейм, как и вы, но проблем не будет.

nnm-club и rutor всё же не совсем профильные ресурсы, возможно у модераторов проявился комплекс бога или они себя ощущают меснтыми царьками.

Эл. адрес почты на gmail на GitHub можно использовать, чтобы в Google Docs писать новость (статью)?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Да

Автор поста оценил этот комментарий

Сделать то новость не проблема, вот только отвечать на вопросы желательно разработчику

раскрыть ветку (1)
Автор поста оценил этот комментарий

Для ноунейма думаю проблема, по крайенемере на том же nnm-club и rutor'е несмотря на поддержку и что я автор потерли
Если сделаете - скиньте ссылку, зарегаюсь, обеспечу им поддержку

показать ответы
Автор поста оценил этот комментарий

Автор, планируешь ли ты какую нибудь принудительную фильтрацию торрентов? Всё таки цп есть цп, есть много торрентов с жесткой запрещенкой, а тут они все в открытом доступе?

раскрыть ветку (1)
Автор поста оценил этот комментарий

да, постепенно

показать ответы