602

Торрент поисковик. Пиратская встреча.

На нашем 20 дне пути после отплытия возник огромный корабль, в соправождении нескольких более мелких, и, как можно судить по его размеру, эта встреча не сулила ничего хорошего...

"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.

Предыдущие статьи:
Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9 - Часть 10 - Часть 11 - Часть 12 - Часть 13 - Часть 14 - Часть 15 - Часть 16 - Часть 17

Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.

Ссылки на последнюю версию:

Windows 32/64bit: https://github.com/DEgITx/rats-search/releases/download/v0.2...

Linux: https://github.com/DEgITx/rats-search/releases/download/v0.2...

Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.2...

О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)

Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)

Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE... (в этот раз инструкция чуть-чуть обновлена, более свежие скриншоты и чуть-чуть про настройку фильтров)

Итак, новые изменения:

Из нововведений появилось 2 способа пополнения собственной базы целенаправленно, первый - это поиск по магнет-ссылкам и хэшам. Их ищет в собственной базе, если они есть, так же как и подгружает удаленно из торрент-клиентов, если их нет,тем самым пополняя собственную базу опеределенными торрентами:

Нужно просто ввести магнет-ссылку или хэш в поиск, и торрент должно подгрузить, замем, в целом, можно уже и скачать его, если конечно нужно :). Суммируя, крысы стали еще больше торрент клиентом...
2 Способ - это просто перетаскивание файлов-торрентов в окно програаммы - да просто кидаем в окно и они летят в базу. Те у кого есть базы с различных торрент-порталов могут ликовать.

Даа, появились разноцветные логи для серверной версии, позволяющие следить за работой отдельных компонентов, количество которых от версии к версии увеличивается - мелочь а приятно.

В этом релизе проведена небольшая оптимизация касально быстродействия. Появилась новая опция с проверкой целостности базы поиска торрентов, которая включена по умолчанию (и была включена до этого, но управление опцией не было). Отключение этой опции, приблизительно, на больших базах может сократить использование cpu на 10-30%. В будущем я вообще все опции касательно производительности вынесу в отдельную подкатегорию, т.к. их количество начинает расти.

Механизм репликации тоже оптимизирован, и в случае высокой нагрузки на систему будет подстраиваться (немного напоминает игровой режим в различном по), в целом о сути на картинке ниже (традиционно):

Достаточно много исправлений в этом релизе относительно работы под линем и маком, особенно залатано закрытие программы. Раньше на маке можно было краш ловить по закрытию, теперь с этим получше. Исправлен старый мелкий бажок с отображением топа, теперь со вкладками все более менее:

Как обычно жду ваших новых предложений, вопросов и т.п. в комментариях. Так же для ознакомления с программой рекомендую познакомиться с предыдущими постами и, особенно, комментариями.

9
Автор поста оценил этот комментарий

@DEgITx, прикрути, пожалуйста темы, или верхнюю панель с кнопками и поиском сделай поуже. На ноутбучных мониторах половину экрана занимает бесполезная верхняя часть.

Иллюстрация к комментарию
раскрыть ветку (1)
7
Автор поста оценил этот комментарий

Хорошо, попробую еще с ней поработать, раньше она еще больше места занимала.

4
Автор поста оценил этот комментарий

Searchd грузит проц постоянно. Он там индексирует реалтайм?

А почему наполнение базы идет медленно? Т. Е. Если есть другие крысы со своими уже готовыми базами почему нельзя их базы подсосать к себе быстрее чем со скоростью обычного сканирования?

раскрыть ветку (1)
4
Автор поста оценил этот комментарий

1) да, реалтайм (это можно контролировать настройками).
2) Пополнение базы идет с медленно но с ускорением если собирает торренты из торрент-клиентов, и ограниченно с репликацией, это сделано чтобы каждый участник сети имел более-менее уникальную по составу базу поиска, что дает более обширную базу общего поиска. В будущем возможно будет передача базы целиком, об этом уже писали в прошлых постах.

показать ответы
0
Автор поста оценил этот комментарий

Ищу по tparser. Вполне устраивает. Чем ваш то лучше?

Последняя проблемка, не могу найти сериал (В браке) (2 сезон:) / Married / 2014 /

Если найдёте с русским дубляжом установлю вашу прогу.

трапсер выдаёт несколько трекеров, в том числе и ПиратБэй. и вставляет готовый торрент на закачку.

раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Это поисковик другого класса, он не ищет по сайтам, про отличии от hal и tparse уже много раз было в предыдущих обсуждениях, но пожалуй самый детальный ответ наверное в этом: #comment_79837870
если кратко в нем может быть то чего нету в tparse, а в tparse то чего нет в нем

2
Автор поста оценил этот комментарий
Можно вкратце для чайника ? С помощью этого добра я смогу скачать "супер-новинку2019 CAMRiP звук TS" не устраивая плясок со всякими анонимайзерами ?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

ну в теории да, все для этого делается
на практике не знаю, можно и не найти, но я пытаюсь сделать все чтобы было можно

0
Автор поста оценил этот комментарий

пока чето подвоха не вижу, поставил на виртуалку на сервере пусть что-то полезное поделает

попробовал добавить 4тыс торрентов (где-то мелькало типа перетащить на окно), ничего не произошло, счетчик не изменился

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Вы файлы тащили, или папкой? Пока только файлами, уже в следующей версии папками можно будет кинуть

0
DELETED
Автор поста оценил этот комментарий

Ссылку на загрузку для Linux поправьте.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

точнее на мак, спасибо поправил

0
Автор поста оценил этот комментарий

...

>>

Иллюстрация к комментарию
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

в 0.29 уже должно заработать, как выйдет можешь проверить )

0
Автор поста оценил этот комментарий

А можно ли выбирать какие файлы из торрента скачивать а какие нет?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

пока что нет, но скоро появиться такая возможность

показать ответы
0
Автор поста оценил этот комментарий
у меня проблема в следующем - обычные торрент клиенты качают с хорошей скоростью, все отлично. с этой програмкой выше 600-800 кб скорость даже не поднимается, хотя проверяю один и тот же торрент. что я делаю не так?
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

а сколько там пиров на торренте? на маленьком количестве можно на такое нарваться в разных клиентах, пробовали какие-нибудь с большим количеством, удавалось за эту скорость прорваться?
могу предположить что это в определенной степени может быть проблема с портами, которая сейчас не решена, т.к. настройку не выносил для скачки (это был всегда запасной механизм), если вдруг почти все качает с такой скоростью.
Попробую потестировать, потому что многие торренты у меня там скачивало с обычной сокростью для 100мбит, поэтому не уверен есть ли с этим проблема, или это обычная проблема с медленными пирами.

0
Автор поста оценил этот комментарий

а проц-то зачем грузит? элементарные же действия вроде, даже с разбором bencode это всё равно смехотворная задача - по 3-10 торрентов в секунду, это 1% нагрузки максимум, сетевые запросы быстро уходят в драйвер и становятся проблемой сетевой карты, опять же еще 1% максимум, запись в базу при таком малом потоке данных так же смехотворна пусть еще 1%..

может на нормальном языке переписать нагруженные части..

скриптовое баловство может загубить проект, если уже сейчас какие-то речи идут про производительность что же будет при десятках миллионов торрентов и дальнейшем распространении?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Очень плохо считаете не ознакомившись с кодом и лишь предположениях.
Основной компонент на плюсах и отвечает за дерево поиска, и я отельно подчерну про поиск среди файлов. Основная нагрузка приходится на него, поиск на больших объемах свыше 10 миллионов строк не тривиальная задача, но решаемая.
С сетевыми соединениями тоже не все так просто как вам кажется на первый взгляд, общение происходит с тысячами торрент-клиентов в секунду, которые рискую вас просто заддосить - контролировать процесс тоже не так просто как кажется на первый взгляд учитывая специфику. Так что на самом деле гораздо большая головная боль это трафик нежели нагрузка на проц - контролировать который значительно труднее.
Со временем все оптимизирую, без паники :), просто это пока не приорительная задача, есть куча других проблем, расчет на большие базы есть.

Скриптовые языки не такие медленные как кажется, к тому же для нагруженных частей на ноде можно писать гипы на плюсах или даже на асемблере в особо критических местах, но не думаю что такая надобность возникнет хоть раз.