Торрент поисковик. Новые пиратские приключения.
Наш пиратский корабль постепенно двигался по направлению к силуэту острова на горизонте. Погода была отличная, и команда уже была на взводе: ведь про этот остров не знал почти никто...
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
Предыдущие статьи:
Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9 - Часть 10 - Часть 11 - Часть 12
Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.
Ссылки на последнюю версию:
Windows 32/64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE... (я там чуть обновил инструкцию дополнив более актуальными скриншотами)
В этой новой версии, в первую очередь, появилась поддержка раздельной веб-версии для серверов, о чем меня просили не раз, она полностью соотвествует обычной версии, ну то есть вернулось то с чего по сути все начилось:
Небольшая инструкция как поднять у себя тут - https://github.com/DEgITx/rats-search#server-version-install
Добавил отображение названий торрентов в результатах
Добавил пару пресетов для фильтра торрентов, но там особо ничего не придумать, если есть фантазеры на регулярные выражения - милости просим. Другой особенностью стало появиление фильтра на adult-контент, если вы вдруг избегаете храние контента 18+ и пытаетесь откреститься от всего еще менее "удовлетворимого":
Теперь беспокойства должно быть чуть меньше :)
Появился простенький механизм распределенных баз. Это нужно чтобы голосование в торрентах опять заработало (и оно, кстати, заработало). В следующей версии это поможет уже прикрутить комментарии и другие распределенные плюшки, упрощенно это как-то так (все та же крысиная схема):
Еще одна маленькая фича: подгрузка удаленных торрентов с свою базу, через поиск по переходам по торрентам. Это позволяет не терять интересующие вас торренты (можно сказать помеченные), если вдруг другие крысы отваливаются.
Как обычно жду ваших новых предложений, вопросов и т.п. в комментариях. Так же для ознокомления с программой рекомендую познакомиться с предыдущими постами и, особенно, комментариями.
Торрент поисковик. Возвращение в пиратскую гавань.
Вот пробежал еще день в открытом море, и наш пиратский корабль потихоньку приближался к гавани. Самое время закупиться провизией и продолжить наш путь к новым приключениям.
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
Предыдущие статьи:
Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9 - Часть 10 - Часть 11
Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.
Ссылки на последнюю версию:
Windows 32/64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...
В этой новой версии много исправлений коснулись механизма репликации торрентов, который был серьезно сломан в последней версии. Теперь обмен торрентами между участниками работает корректно.
Зопелил по линь 32 бита. Теперь поддерживаются обе (32 битные и 64 битные) Windows и Linux платформы (помимо мака). Все варианты сборок можно найти в релизе на гитхабе (https://github.com/DEgITx/rats-search/releases/tag/v0.17.0). Линуксоиды должны быть довольны.
Новым нововведением стала настройка фильтров поступления торрентов.
Пока что там 2 незамысловатых фильтра, один из них позволяет отсеивать торренты с определенным количеством файлов. Это важно, потому что большую часть места базы торрентов забивают как раз файлы, и можно серьезно почистить место, отфильтровав торренты с большим количеством хлама (например есть торренты с более чем 100k файлами).
Второй фильтр как раз позволяет фильтровать по определеннуму критерию названий торрентов, заданным регулярным выражением. К примеру что-то такое ^[А-Яа-я0-9A-Za-z.!@?#"$%&:;() *\+,\/;\-=[\\\]\^_{|}<>\u0400-\u04FF]+$ позволяет отфильтровать русские и английские торренты, и игнорировать торренты с иероглифами и другими символами.
Можно придумывать и более сложные фильтры названий, но это уже по вашему усмотрению.
Определенных улучшений коснулась схема бутстрапа, осовременненая картинка взаимодействия крысок выглядит теперь как-то так:
Как обычно жду ваших новых предложений, вопросов и т.п. в комментариях. Так же для ознокомления с программой рекомендую ознакомиться с предыдущими постами и, особенно, комментариями.
Торрент поисковик. Пустой пиратский корабль.
Джону так и не дали насладиться недавно найденным сундуком, и вот они уже вместе с Херли выбежали на палубу. “И что, прямо никого нет? Даже никаких намеков на кого-то живого?” - недоумевал Джон. Херли в ответ лишь качал головой: удивительно, абсолютно пустой и целый корабль в открытом море у них под носом, и никаких признаком людей или хоть чего-то живого. Ловушка - первая мысль что крутилась в голове у Джона. “Ну, или корабль-призрак” - в насмешку подумал об еще одном глупом варианте. Но тут тебе ни тумана, ни сопутствующей атмосферы: как-то не так себе подобная ситуация представляется смотря на покачивающийся пустой корабль в лучах знойного солнца. Полюбому ловушка. Либо мы попадемся в мышеловку, либо отхватим невероятно лакомый кусок добычи, прямо у нас на блюдечке...
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
Предыдущие статьи:
Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9 - Часть 10
Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу. Познакомиться с концепцией программы помогут комментарии (в частности #comment_109032745)
Ссылки на последнюю версию:
Windows 32/64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Windows Portable 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...
Прежде чем перейти к изменениям, хочется отдельно упомянуть что я пробовал размещать программу на nnm-club и rutor, обе площадки без указания причин удалили раздачи - может из-за живой конкуренции или нежелания разбираться что же делает прога, либо вот так у нас дела обстоят с трекерами - обидно конечно :). Но не будем о грустном, поехали:
В первую очередь уже не первый раз просили сделать поддержку под 32битную Windows. Хорошо, пока что только под Windows, обе версии включены в один инсталлятор, а portable версии раздельно.
Другим важным изменением это отображение индикатора порта, возможно оно не идеально, но должно кое-как определить режим работы.
Зеленый статус - все в порядке и порт доступен извне. Красный статус - порт недоступен, и скорее всего находить других пиров не будет, так же как собирать базу. И, наконец, оранжевый статус который говорит что порт закрыт, но программа нашла обходной путь, по крайне мере для поиска пиров. Все, кроме активного сбора торрентов, скорее всего все будет работать в оранжевом статусе, но об расшаривании порта лучше все же подумать, если есть такая возможность (так же как и случае красного). Если кто-то уверен что этот индикатор работает некорректно в вашем случае - сообщите.
Поправлен перенос Portable версии.
Серьезной пеработки коснулась система топов. Теперь категории в табах, подгрузка топа работает через p2p сеть крыс, ну и что самое главное - теперь топ можно подгружать дальше чем выдача из 20 торрентов. Промотывание ака пикабу может будет в следующей версии. Новое изменение важно тем, что появляется какая-никакая навигация по собранной базе, то о чем меня тоже просили:
Новые готовые базы поиска будут где-то как обычно в комментариях.
Торрент поисковик. Зарытый пиратский сундук.
Джон взглянул налево - лес, справа тоже не виднелось ничего кроме огромных деревьев, что уж говорить про то что было напротив, лишь корабль позади оставлял хоть какое-то чувство уверенности в их положении. “Ну и как это понимать?” - недоумевающе спросил Джон. “Ну, я слышал что ящик будет найти легко, ведь он закопан...” - попытался вставить слово Херли. “... Ведь он закопан под гребаным деревом! На этом острове вообще нет ничего кроме гребаных деревьев, как ты предлагаешь его искать, рыть под каждым?!” - резко произнес Джон. Он знал что идея, поверить какой-то байке изначально была безнадежная, но он также знал, что упускать такую возможность нельзя, ведь такое с ним было не в первый раз…
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающий возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
Предыдущие статьи:
Часть 1 - Часть 2 - Часть 3 - Часть 4 - Часть 5 - Часть 6 - Часть 7 - Часть 8 - Часть 9
Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.
Ссылки на последнюю версию:
Windows 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Windows Portable 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...
Пройдемся по улучшениям.
Первое изменение банальное: теперь у программы есть и портативная версия. Об этом часто просили, не знаю зачем она вам, но пусть будет :).
В отличии от установочной, в ней нет встроенного автообновления, поэтому я по прежнему рекомендую именно установочную.
Некоторые изменения коснулись внешнего вида приложения. Большинство этих правок предложил @dreamkin и многие из них направлены на исправление нерационального использования места а также верхней панели, которая теперь должна больше походить на панель десктопного приложения нежели веб-версии. Вот так выглядит теперь основное окно:
Обсудить другие изменения которые возможно будут в будущем, предложенные dreamkin’ым можно в комментариях или тут - https://github.com/DEgITx/rats-search/issues/13 . Меня например терзают сомнения насчет табличного вида, ведь поиск включает поиск по файлам, результаты которого жестко уходят вниз, но сократить размер, тем не менее, можно.
Несмотря на появление поддержки UPnP и того, что преимущественная часть все же успешно собирает торренты, я продолжил внедрять дополнительные механизмы для синхронизации распределенной сети поиска и обхода ограничений провайдеров с миллионами фаерволов и NAT’ов а так же неправильной настройки роутеров самими пользователями.
Первый из них - bootstrap peers - теперь используется дополнительный механизм обнаружения других участников поиска, если у вас и так успешно находит других пиров крыс и вы больше волнуетесь о безопасности, его можно отключить. Т.к. фактическую пользу он принесет только в случае если стандартный механизм не позволяет находить других участников ну а так же при первом запуске. Схематично как-то так:
Второе нововведение - репликация торрентов. Позволяет перекачивать торренты от других участников себе и отдавать их другим. Эта альтернативный механизм получения торрентов, который в отличии от механизма сканера забирает торренты у других крыс помимо торрент-программ. Этот механизм позволяет как ускорить сбор торрентов за счет других участников, так и передать информацию участникам у которых, из-за проблем с сетью, поиск не работает. Тем не менее данный механизм приводит к некому дубляжу общей базы и уменьшает значимость распределенного поиска - поэтому по умолчанию эта фича отключена (все как обычно включается через настройки - контролируется одной галочкой).
Можно также теперь увеличить количество пиров с которыми работает программа в настройках.
Исправлена ОГРОМНАЯ иконка кота на маке, выглядело как-то так
А так же ряд других незначительных исправлений.
Торрент поисковик. Пиратский туман.
За бортом было абсолютно ничего не разглядеть дальше чем за 2 метра. “Скорей бы это уже закончилось” - прошептал Джон. Шел уже 3 день с почти нулевой видимостью из-за морского тумана, и команда явно испытывала негодование. Мы хоть и двигались, но двигались медленно, а бесконечная белая пелена лишь усиливала чувство того, что мы вот-вот во что-то уткнемся даже не подозревая об этом. Берег, в нашей ситуации, был отнюдь не самым худшим вариантом...
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающих возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
Как и в предыдущих статьях, в этой пойдет речь о десктопной версии поисковика для локального использования о его улучшениях и нововведениях сделанных благодаря пикабу.
Ссылки на последнюю версию:
Windows 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.1...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.1...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Базовая инструкция по использованию - https://github.com/DEgITx/rats-search/blob/master/docs/USAGE...
В этот раз большинство изменений затронуло работу распределенной сети крыс. Для тех кто не помнит - это возможность искать торренты не только в своей собранной базе торрентов, но и у других пользователей программы. Т.е. поиск фактически снимает ограничение вашей торрент-базы и даже новый участник будет иметь возможность искать среди тысяч и миллионов чужих торрентов.
Собственно об этом и идет речь. Добавились дополнительные механизмы по обнаружению крыс - в частности, обмен пирами и обратная связь, так же сам протокол немного доработан в плане безопасности. Все это, теоретически, должно помочь в обнаружении новых источников, но поможет или нет покажет время. Схематично улучшение можно описать как-то так:
Кстати, теперь торренты других участников в поиске помечаются другим цветом, и их можно визуально отделить от торрентов в вашей базе.
Появилась, наконец, поддержка UPnP: теперь во многих случаях, если на роутере включена эта функция, то дополнительных телодвижений с портами их пробросом (а я напоминаю что для сбора торрентов нужно открыть 2 UDP + 1 TCP порта указанных в настройках) не нужно, все должно заработать из коробки.
Исправлен довольно древний баг, с тем, что когда ты начинаешь подгружать новые результаты выдачи поиска по файлами, появлялись дубликаты торрентов. В будущей версии, скорее всего, появятся всяческие дополнительные настройки поиска.
Так же в прошлой версии отсутствовал менеджер закачек, из-за чего найти торренты, которые в данный момент качаются через встроенный торрент-клиент было почти невозможно. До него можно добраться через меню или шорткей (да, такие есть, см. пометки к меню).
Ссылки на базу поиска, с более чем 120 000 торрентами можно найти в комментарии к этому посту либо заглянуть на 2 поста назад.
Торрент поисковик. Сообщество пиратских крыс.
“Ну как все прошло?” - спросил Тревис. Джон и остальные продолжали молчать, но по выражению их пустых лиц уже можно было понять что все пошло не по плану. Команда вернулась с пустыми руками, а все кто побывал в пещере напрочь отказывались говорить, что же приключилось внутри пещеры. Наконец Джон выдохнул и произнес: “Там была не одна крыса...”
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающих возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
В данной статье как и в предыдущих пойдет речь о торрент-поисковике и его десктопной версии. В предыдущей статье я внедрил в поисковик торрент-клиент, а сейчас пойдет речь об одной очень важной фиче, которая позволит значительно увеличить общую базу поиска торрентов - распределенный поиск. Но прежде чем перейду к соку, я пройдусь по кое-каким другим улучшением, которые коснулись оптимизации использования траффика и настроек сбора торрентов.
Ссылки на последнюю версию:
Windows 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.8...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.8...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.8...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Отслеживать проект на Github - https://github.com/DEgITx/rats-search (там звездочку влепите, если интересен проект :D)
Наконец появились кое-какие настройки касательно скорости сбора торрентов
Комбинация 3 данных параметров, теоретически, должна позволить добиться более приятного сбора торрентов и комфортной работы с приложением, особенно при длительном сканировании, и, в целом, должно значительно снизить нагрузку на роутеры (если он у вас есть).
Рекомендуемые значение: 5/0/0 - для максимально быстрого сбора торрентов (значение по умолчанию в предыдущих версиях), 15/100/600 - средняя нагрузка, средняя скорость сбора, 30/10/400 - минимальная нагрузка на сеть и процессор, маленькая скорость сбора торрентов.
Теперь касательно самого интересного. У разных людей могут быть собраны базы различных размеров: кто-то насобирал базу из 100 000 торрентов, кто-то из 50 000, кто-то из 10 000 000. Было бы очень удобно, если бы участники сети поиска могли бы использовать базы торрентов друг друга, и предоставлять свои результаты поиска другим. Для этого и был введен поиск через распределенную сеть крыс. Схематично это как-то так:
Более того, это позволяет новым участникам сети получать результаты выдачи, даже при собранной минимальной базе (приятно тем, кто поставил приложение исключительно для поиска и не планирует надолго задерживаться на сбор торрентов, однако для поиска требуется включенное сканирование, так что полной халявки не будет). Данную опцию можно отключить в настройках (p2p search). К сожалению я в должной мере пока не оттестировал все, но данная фича будет до конца доработана в минорных релизах поисковика.
Снизу в приложении отображается индикатор связи с другими участниками, если эта цифра больше нуля, вам доступен поиск среди других участников.
По традиции где-то там в комментарии скорее всего будет ссылка на базу торрентов из 120k которую можно просто подбросить в настройки, либо смотрите в комментарии в предыдущих статьях.
Торрент поисковик. Плохой остров.
Время уже близилось к вечеру, а мы все не могли пробраться через эти чертовы заросли. “Несите гребаную карту” - крикнул Джон. Взглянув на карту, потом на огромное дерево прямо на нашем пути, потом опять на карту, и, наконец, переведя глаза на закат, Джон произнес: “Ну где этот, мать его, корабль?”...
Предыдущие статьи цикла:
Часть 1: https://pikabu.ru/story/torrent_poiskovik_4731705
Часть 2: https://pikabu.ru/story/torrent_poiskovik_obnovlenie_4769079
Часть 3: https://pikabu.ru/story/torrent_poiskovik_nebolshoe_obnovlen...
Часть 4: https://pikabu.ru/story/torrent_poiskovik_piratskie_voynyi_5...
Часть 5: https://pikabu.ru/story/torrent_poiskovik_piratskiy_gorod_56...
"Крысы на борту" - торрент поисковик собирающий статистическую информацию о торрентах не используя торрент-трекеры и дающих возможность обеспечить поиск по торрентам (и отдельным файлам в них) даже если все трекеры заблокируют в будущем.
Для тех, кто не хочет углубляться в то, что было в прошлых статьях и к чему пришло: в данной статье (как и раньше) пойдет речь о торрент-поисковике, его десктопной версии (начиная с прошлой статьи), а также о некоторых доработках за последнее время. В чем принципиальные отличия от HAL, почему десктопная, что за доработки, как работает американский орган по контролю пирато-траффика DMCA, с чего все начилось - все это можно подчеркнуть из прошлых статей и обсуждений к ним.
Ссылки:
Windows 64bit: https://github.com/DEgITx/rats-search/releases/download/v0.3...
Linux: https://github.com/DEgITx/rats-search/releases/download/v0.3...
Mac OS X: https://github.com/DEgITx/rats-search/releases/download/v0.3...
О багах и проблемах сюда - https://github.com/DEgITx/rats-search/issues (регистрируемся - new issue - описываем проблему в деталях)
Пройдемся по изменениям. Помимо того что это первая версия на Linux c Mac OS X, появились настройки (ну наконец).
Теперь доступна автономная работа (без сканирования торрент-сети). Т.е. можно отключить и использовать приложение только как базу поиска, не нагружая сеть, а когда хочется пособирать торрентом - опять включить.
Конечно же появились выборы портов, без этого вообще было очень трудно говорить о десктопной версии в прошлый раз. Очень важный момент: порты, указанные там, должны быть проброшены через NAT (если он есть, к примеру, у вас роутер)! Об этом я упомянул в прошлый раз только в комментариях. В противном случае собирать ничего не будет, т.к. просто не пробьется через ваш роутер.
Появился выбор расположения базы, ура, теперь базу можно вынести с диска C:. Ну и конечно ограничитель использования, на случай если вы уже собираете торренты 2 дня не выключая и приложение расхавалось на максимум.
Появилось хоть какое-то отображение статистики сбора торрентов, а не как раньше - раз в несколько минут. В будущем нужно конечно что-то получше.
Исправил открытие левых окон по кликах на магнит-ссылки (где-то об этом тоже писали).
Очень важное изменение! База предыдущей версии несовместима с новой! Т.к. предыдущая версия была сырой, я позволил себе такую вольность. В следующих версиях уже начну сохранять совместимость. Зато сейчас шанс убить базу торрентов гораздо ниже. Если у вас сохранилась старая база, то почистите AppData/Rats on The Boat
В комментариях я оставлю ссылку на базу, с которую можно продолжить собирать, либо уже попробовать искать, на 88 000 торрентов.
Ну и напоследок не менее важное изменение:
https://github.com/DEgITx/rats-search - теперь можно
Да я опубликовал исходники, теперь если есть желающие помочь - милости просим.