[RU] Состоялось крупное обновление инструмента поиска по нику — Snoop Project⁠⁠

Snoop — элегантный поисковик, разработанный для людей и работающий из коробки (то есть пользователю не требуется: регистрироваться; инсталлировать софт; устанавливать ключи, токены, зависимости, библиотеки, Python и/или обладать какими-либо техническими навыками чтобы запустить ПО, которое будет выискивать в Интернет сети публичные данные).

Основной функционал поисковой системы Snoop Project — выслеживать «username» в публичных данных по 4.7К+ сайтам, дополнительный функционал — различные OSINT плагины, в т. ч. разработанные на идеях и материалах обнаруженных уязвимостей в сервисах Яндекса (при участии в багбаунти программе), позволяющие работать с IP/GEO/Yandex-ом.

Snoop Project разработан на материалах исследовательской работы в области скрапинга публичных данных (собственная БД, алгоритмы). На данный момент Snoop выслеживает nickname(s) по ~4.7K+ интернет ресурсам в Full версии (платная лицензия) и по самым популярным ресурсам в Demo версии (бесплатно). Исходный код открыт и размещен на Github.

Подготовлены готовые сборки для OS GNU/Linux и Windows, из исходников собирается и в Termux/Android.

Changelog v1.4.2

• Расширена поисковая web-base Snoop ↑ 4700+ сайтов.

• Исправлен подсчет bad_raw в случае, когда был задан поиск по множеству username's из CLI или с опцией '--userlist/-u', среди которых попадался невалидный nick в комбинациях: например, один из username's короче 3-х символов, номер телефона, кириллический или из спецсимволов, где ПО его отфильтровывает, но позже на том же ресурсе принимался следующий, валидный username (при превышении bad_raw 2.5% параметр не рассчитывался, теперь подобные варианты просчитываются).

• Нетривиальное использование HTTP библиотек позволило на Snoop for Windows оптимизировать утилизацию ресурсов CPU, прирост производительности к скорости поиска на длинной дистанции составил ~20-25%.

• Немного повышена эффективность повторных запросов при неудачных попытках соединения.

• Оптимизирован алгоритм автоскорости поиска утилиты на слабых одноядерных VPS и мощных многоядерных ЭВМ с OS GNU/Linux. Также изменены ограничения верхнего предела утилизации ресурсов ЭВМ при разгоне поиска вручную: на OS GNU/Linux, Android/Termux — планка поднята, на OS Windows — планка опущена.

• Ускорена работа ПО в режиме '--save-page/-S': поиск и сохранение локальных HTML-страничек.

• На OS GNU/Linux и Android/Termux прерывание работы софта с безопасным высвобождением ресурсов немного ускорено и составляет менее 1 сек. (Ctrl +c).

• На Snoop for Android/Termux добавлено оповещение о недоступности диска и предложение: что бы Snoop Project автоматически исправил ошибку доступа к общедоступному каталогу в OS Android "/storage/emulated/0/snoop/*" (Если пользователь новичок устанавливал Termux впервые и собирал Snoop из исходного кода, не читая инструкцию, т.е. пропуская шаги, то Snoop автоматически не мог создавать общедоступный каталог для результатов поиска и открывать data за пределами Termux, issue_95, issue_96, issue_97.

• Изменен нижний порог с 2.5% до 2% при срабатывании оповещений Bad_raw. Также при превышении bad_raw 2% в CLI Snoop full version добавлена пример-подсказка с предложением изменить поиск, минуя сбойные ресурсы.

• В CLI Snoop demo version добавлено оповещение о том, как можно получить Snoop full version без чтения справки.

• В CLI и csv отчеты добавлен "плавающий" параметр bad_zone — главные одна/две геолокации, в которых чаще всего происходят ошибки соединения в основном из-за интернет цензуры.

• В txt отчёте улучшено форматирование столбцов, сделан реверс данных: "Адрес | Ресурс" и добавлен параметр "Гео". В html отчёте усилена визуализация разбивки по странам/скобки. В csv отчёте заменен столбец "username" на строку "Nick", добавлен параметр отслеживания сайтов со статусом: "завис" (редкое явление, когда какой-нибудь ресурс временно подвисает: подавляет выставленные лимиты в т.ч. и на низком уровне redirect/timeout запросов, подольше удерживая ресурсы ЭВМ).

• В HTML-отчете изменена функция кнопки, которая ранее вела на страницу донатов Юмани (кнопка теперь генерирует HTML: Donate/Buy с методами поддержки проекта в т.ч. и QR-кодом).

• Функции: удаление кэша, обновление ПО, проверка БД — зациклены (при взаимодействии с ними и неверном выборе/опечатке происходит не выход из программы, а повторный запрос на ввод с подсказкой).

• Уменьшена зависимость от кол-ва сторонних библиотек в Snoop demo version: убран плагин с частичным функционалом "Reverse Vgeocoder".
  (Унифицирован способ самостоятельной сборки Snoop for Android/Termux & Desktop, т.е. синхронизированы зависимости между Snoop for Termux и Snoop for Desktop. Ускорены: сборка проекта из исходного кода и запуск Snoop build версии).

• На Snoop full version for Windows по окончанию поиска добавлена ненавязчивая, по событиям, подсказка про оптимизацию скорости поиска.

• В CLI добавлено оповещение и рекомендация, как исправить/улучшить работу утилиты, если пользователь собрал Snoop из исходного кода, но при сборке пренебрег инструкциями/документацией (при этом ПО не прерывает работу, оповещает пользователя и переключается в режиме совместимости, например, если используются устаревшие версии HTTP библиотек/API и c прекратившим жизненный цикл Python 3.7).

• В блок 'snoop info', секция 'Recommended pool', опция '--version/-v' добавлены ~расчеты по требованиям к ресурсам ЭВМ для нормальной работы ПО в любых конфигурациях при его разгоне вручную на разных OS.

• Незначительные визуальные изменения в CLI.

• Проведено агрессивное сжатие репозитория. Сохранен полный бэкап истории. Пользователи, собирающие, обновляющие Snoop из исходного кода, должны сделать 'git clone' по-новому.

【Релиз & Документация】