Бот-сборщик информации⁠⁠

В последнее время мне очень не хватает автоматизации процесса получения информации из разных соц. сетей: FB/IG/Twitter(X)/VK/YouTube и прочих.

Реклама дорогая, покупка контактов равносильна покупке кота в мешке. Массовая рассылка почты не приносит результата. Сейчас еще интернет отключат и тогда вообще танцуй как хочешь. Выживут только те... кто в представлении не нуждается 😂

Многие блогеры размещают свои реквизиты и контакты в соц.сетях. Мне нужно, условно пройтись по страницам сервисов и собрать публичные данные пользователей, проанализировать на полезность и отобрать нужные контакты для сотрудничества.

Нет, задача не спамить, а в автоматизированном режиме найти полезные контакты для сотрудничества.

- Бот НЕ обходит авторизацию
- НЕ превышает rate limits
- НЕ спамит и НЕ рассылает
- Собирает ТОЛЬКО публичные данные
- Используется для ПРЯМЫХ предложений сотрудничества

Проблема

Сервисы, как оказалось, очень не рады когда кто-то гуляет по их страницам с целью поиска полезной информации и всячески этому препятствуют. Но сейчас же время ИИ, с его помощью можно много чего создать. Собственно его помощью я и воспользовался при написании бота-сборщика информации.

В чем проблема, почему нельзя грузить страницу и парсить данные? Потому, что:
1) сервис на другом конце делает все, чтобы взамодействовать с ним мог только человек (если речь не идет о покупке API. За деньги они все предоставят. В общем, "за деньги да".)
2) через пару загрузок сервис поймет, что кто-то периодически подгружает страницы и заблокирует передачу данных. Ну и все, никаких данных после этого получить не удастся.

Решение

Решение достаточно сложное: необходимо замаскировать бот под человека. Бот должен использовать браузер, двигать мышкой как человек, кликать не сразу. В общем, бот должен сидеть в браузере и вести себя как человек. Только в этом случае система не распознает бота и не заблокирует.

Представьте, вы пригласили своего младшего брата и попросили его делять ряд простых действий, а сами пошли по своим делам на пару дней. Все эти пару дней ваш братиш неустанно повторял действия по инструкции.

Описание некоторых функций

✅ context.AddInitScriptAsync — скрывает признаки бота (webdriver, plugins, languages)

✅ Playwright с Chromium - бот использует браузер

✅ RandomMouseMovement() — случайные движения мыши с шагами

✅ HumanLikeDelay() и случайные задержки от 3-8 секунд между кликами

✅ Прокрутка страницы (HumanLikeScroll), паузы, микро-движения

✅ IsTwitterDetectedBot() — проверка на распознание бота

Что на пракике, работает?

Допилил, работает. Куда он денется. Робот извлекает из таблицы ссылки, которые нужно проверить и проверяет. Результаты проверки выписывает в соответствующие ячейки той же таблицы. Работает стабильно как часы. при необходимости можно организовать переключение меду разными ВПН-сервисами.

Важно: код написан на C#, для его использования желательно хоть немного разбираться в программировании.

В примере нет кода, который отвечает за непосредственную обработку данных самим ИИ (задача стояла показать бот, а не саму обработку данных и прочие моменты).

Исходник лежит тут.

--

По большей части пишу сервис для общения. Кому интересно, можете подписаться куда-нибудь на меня, попробуете сервис в числе первых.
Постепенно буду продолжать делиться успехами разработки :)