Интернет незаметно перешёл черту: по подсчётам Cloudflare, около 57% всех запросов в вебе сегодня генерируют не люди, а автоматика — боты, скраперы и всё чаще ИИ-агенты. Машины в сети уже официально в большинстве. И главная проблема даже не в их количестве, а в том, что старые способы отличить человека от программы перестали работать.
Почему капча больше не спасает
Классическая защита вроде CAPTCHA устроена как охранник на входе: она проверяет тебя один раз, при заходе на страницу, а всё, что ты делаешь дальше, по умолчанию считает поведением живого человека. Для современных ИИ-агентов это подарок. Подделать одно-единственное действие на входе — задача несложная. А получив «пропуск», бот дальше волен делать что угодно: собирать контент, накручивать, выдавать себя за пользователя.
Как работает Precursor
Новая система Cloudflare под названием Precursor (запущена в общий доступ 13 июля) переворачивает логику. Вместо разового экзамена она непрерывно наблюдает за поведением на протяжении всей сессии. Небольшой скрипт, который Cloudflare сам подставляет в страницы, проходящие через его сеть, считывает десятки сигналов: ритм движения мыши, скорость и характер прокрутки, темп набора текста, работу с буфером обмена, как долго вкладка остаётся видимой.
Дальше движок ищет внутренние противоречия — так называемые coherence-проверки. Например: курсор «шевелится» в тот момент, когда вкладка скрыта и человек её физически не видит. Или нажатия клавиш регистрируются там, где вообще нет активного поля ввода. Живой пользователь так себя не ведёт — а вот скрипт легко себя выдаёт подобными нестыковками.
Главный удар по ботам — и обещание приватности
Ключевая находка вот в чём. Раньше автоматизированный агент мог стереть свой «поведенческий отпечаток», просто перезагрузив страницу — и начать с чистого листа. Precursor так обойти не выйдет: счёт подозрительности (Bot Score) копится в рамках всей сессии и перезагрузкой не сбрасывается, а наоборот, обрастает контекстом. Включается защита одной кнопкой в панели Cloudflare, без единой строчки кода.
При этом компания подчёркивает приватность: скрипт хранит не сам ввод, а лишь агрегированные паттерны. Клавиатурная активность записывается как ритм и темп нажатий, но не конкретные буквы — что именно вы печатали, система не видит. «Вместо того чтобы просто проверить удостоверение на входе, мы смотрим на поведение в течение всего визита», — объясняет технический директор Cloudflare Дэйн Кнехт.
Это фронт большой войны
Precursor — часть куда более масштабного сдвига. Тот же Cloudflare недавно ввёл раздельные правила для ИИ-краулеров (отдельно поисковые, отдельно агенты, отдельно те, что тянут данные на обучение) и с осени начнёт по умолчанию блокировать часть из них. Веб фактически перестраивается вокруг одного вопроса: докажи, что ты человек — и не разово, а всё время, пока ты здесь. Чем убедительнее боты притворяются людьми, тем дороже им обходится каждый сбой в «человеческой» походке.
Крупнейший поставщик облачных сервисов Cloudflare готовится кардинально изменить подход к управлению автоматизированным трафиком. С 15 сентября 2026 года компания вводит новые правила по умолчанию для контроля доступа AI-ботов, что станет поворотным моментом в цифровой экосистеме.
Три категории AI-ботов.
Cloudflare разделяет весь AI-трафик на три четкие группы:
Search — боты, собирающие контент для последующего ответа на вопросы
Agent — автоматизированные системы, действующие в реальном времени от имени пользователей
Training — пауки, извлекающие контент для обучения моделей ИИ
Новые правила доступа.
Для новых доменов, новых сайтов от существующих клиентов и клиентов бесплатного тарифа на рекламных страницах вступают в силу строгие ограничения:
Search — разрешен по умолчанию
Agent — заблокирован по умолчанию
Training — заблокирован по умолчанию
Владельцы сайтов могут отключить эти правила через настройки безопасности до 15 сентября или в любое время после.
Важное замечание о многофункциональных ботах.
Боты, выполняющие несколько функций (например, Googlebot, Applebot, BingBot), будут классифицироваться по наиболее restrictive правилам. Если вы заблокируете Training-боты, будут заблокированы и поисковые роботы, так как они выполняют обе функции.
Монетизация контента.
Cloudflare запускает платную модель для монетизации использования контента:
Pay Per Crawl — оплата за каждый запрос к странице
Pay Per Use — оплата только когда контент действительно используется в ответах AI
Рекомендации для владельцев сайтов.
Для разных типов сайтов рекомендуются разные политики:
Блог с рекламой — блокировать Training по умолчанию, индивидуально решать по Agent
Техническая документация — разрешить Search и Agent, блокировать Training
Исследовательские данные — блокировать все, использовать Pay Per Use
Электронная коммерция — разрешить Agent, блокировать Training
Стратегические последствия.
Доступ к открытому вебу, который был бесплатным и неограниченным в течение 30 лет, теперь подвергается монетизации. Cloudflare CEO Matthew Prince подчеркнул: "Поскольку большинство трафика в Интернете не является человеческим, нам необходимо действовать быстрее, чтобы появилась устойчивая экосистема".
Заключение.
Изменения Cloudflare представляют собой первый раунд "войны за контент", где предлагается не стена, а тарифная система. Владельцы сайтов, которые подготовятся до сентября, получат преимущество, в то время как те, кто узнает об изменениях позже, будут вынуждены перестраиваться на лету.
Две недели. Ровно столько понадобилось двум крупнейшим инфраструктурным компаниям мира, чтобы одновременно встроить в интернет протокол, который может изменить саму экономику веба. Cloudflare и AWS реализовали x402 — open-source протокол микроплатежей для AI-агентов — на уровне своих edge-сетей. Тех самых, через которые проходит огромная доля мирового трафика.
Если коротко: интернет учится брать деньги с машин.
Протокол x402 воскрешает HTTP-код 402 «Payment Required», зарезервированный ещё в спецификации HTTP/1.1 от 1997 года. Механика: AI-агент запрашивает платный ресурс, edge-сервер (Cloudflare или AWS CloudFront) отвечает «402, с вас 0.001 USDC», агент платит в стейблкоинах через Coinbase Facilitator, прикрепляет доказательство и получает данные. Без редиректов. Без API-ключей. Без регистрации. Платёж сам стал учётными данными.
Почему это не очередной Flattr. Все предыдущие micropayment-схемы провалились, потому что требовали от человека лишнее действие. AI-агенту всё равно — он совершит тысячу транзакций без единого клика. Покупатель сменился — экономика меняется.
Цифры. За первый год: 169 млн транзакций, 590K покупателей, 100K продавцов. Фонд x402 — под Linux Foundation с апреля 2026. В совете: AWS, Cloudflare, Anthropic, Circle, 20+ участников. AWS — GA без наценки. Cloudflare — waitlist, но их статистика: 52% crawler-трафика в июне 2026 — сбор данных для AI (год назад 22%).
Где подвох. Два открытых вопроса: как отличить бота от человека на уровне edge (чтобы paywall не ударил по обычным пользователям), и что делать с налогами при анонимных стейблкоин-платежах. Для европейских компаний это реальный бухгалтерский барьер.
И главный скепсис: а что если агенты просто перестанут ходить на платные сайты? Бесплатного контента пока хватает. Но если AWS и Cloudflare сделают оплату стандартом на уровне инфраструктуры — у агентов не останется выбора для доступа к программной документации, научным базам, финансовым API. Тому, без чего им не обойтись.
Интернет, где машины платят машинам за информацию в реальном времени. Две крупнейшие инфраструктурные компании только что поставили на это свои фишки.
Схема стандартная: мне нужно было выкатить наружу очередной сервис из своего хоумлаба (дашборд Grafana, внутреннее API, музыкальный сервер - неважно). Я открывал админку Cloudflare, создавал туннель, прописывал DNS-запись, настраивал политики Zero Trust Access, копировал ID туннеля, генерировал конфиг, устанавливал службу на сервер и со спокойной душой закрывал вкладку. Первые несколько раз меня это вообще не парило.
Примерно на пятом сервисе до меня дошло: я больше не настраиваю инфраструктуру. Я исполняю ритуал.
И я задался вопросом нафига я вообще это делаю руками? У Cloudflare есть отличный API. Всё, по чему я кликаю мышкой в красивом (не очень) интерфейсе, в конечном итоге превращается в обычный HTTP-запрос. Так почему весь этот адский воркфлоу нельзя упаковать в одну единственную команду?
Так родился проект cfzt.
Изначально это не планировалось как какой-то коммерческий продукт или крутой опенсорс. Мне просто хотелось перестать страдать фигнёй по выходным.
Идеальная цель выглядела так:
zt up grafana 3000
И всё. За этими четырьмя словами утилита сама создаёт туннель Cloudflare, настраивает правила ингресса, регистрирует DNS, вешает авторизацию через Zero Trust Access, ставит демона в систему и запоминает состояние, чтобы потом всё это можно было чисто удалить одной командой.
Команда выглядит крошечной. Объём работы под капотом - огромный. И, как выяснилось позже, это была самая простая часть.
Процесс от init до поднятия туннеля
Дело было не в Cloudflare
Самое забавное, что я вообще не пытался заменить Cloudflare. Скорее наоборот.
Cloudflare Tunnel - это одна из тех штук, которая при первом знакомстве кажется чистой магией. Твой сервер может сидеть за NAT, за жёстким провайдерским CGNAT, вообще где угодно, но он всё равно будет доступен из интернета без единого открытого входящего порта на роутере.
Добавь сверху zero trust - и бах! Каждый твой внутренний сервис по дефолту защищён нормальной авторизацией, привязан к identity-провайдеру и еще сертификат насыпают на сдачу.
База просто монументальная. Проблема была во всём том, что её окружало. Каждый новый чих требовал повторения одного и того же алгоритма:
- Создать туннель.
- Прописать DNS-запись.
- Настроить Ingress rule.
- Создать приложение в Access.
- Привязать к нему политику доступа.
- Сгенерировать конфигурационный файл.
- Установить системную службу на сервере.
- Запустить её.
Ни один шаг сам по себе не сложен. Они просто… нудные. И хуже всего была даже не потеря времени, а ментальная нагрузка. А я точно создал DNS? А access включить не забыл? Какой туннель держит этот домен? А если я его удалю, ничего не сломается?
В хоумлабе и так хватает хаоса, чтобы ещё держать в голове весь этот чек-лист деплоя.
И я подумал: а что, если бы публикация сервиса в сеть была такой же простой, как запуск Docker-контейнера?
Docker внутри устроен невероятно сложно, но его интерфейс скрывает весь этот ужас от пользователя. Ты пишешь команду - Docker разбирается со всем остальным. Это и стало главной фишкой cfzt: не плодить миллион галочек и настроек, а сделать стандартный путь банальным и скучным.
За одной строчкой скрывается куча работы с API, но пользователю до этого не должно быть никакого дела. Сложность должна оставаться внутри инструмента. Мне кажется, создателям современного софта для инфраструктуры стоит почаще выбирать именно такой подход.
Фича, которую никто не заметит
Ирония в том, что больше всего я горжусь функцией, которую пользователи, надеюсь, никогда не увидят. Это роллбэк или откат по-нашему.
Инструменты автоматизации обожают ломаться на середине пути. То API Cloudflare выдаст rate limit, то сессия протухнет, то один запрос пройдёт, а следующий за ним упадет с ошибкой. В итоге у вас остаётся полурабочее нечто:
- Туннель вроде создался, но до него не достучаться.
- DNS-запись смотрит в никуда.
- В панели access висит приложение для сервиса, которого уже нет.
Убирать это дерьмо руками несложно, но выбешивает знатно.
Я хотел, чтобы cfzt работал иначе. Любой деплой - это транзакция. Если все шаги прошли успешно - сервис онлайн. Если споткнулись хоть на одном этапе - утилита автоматически сносит всё, что успела насоздавать до этого момента. Никаких осиротевших ресурсов и никакого гадания в веб-морде Cloudflare, что там надо подчистить.
Звучит очевидно? Да. На практике же пришлось детально логировать каждый чих к API, записывать ID каждого созданного ресурса и писать под них логику удаления. Зато теперь я могу запускать утилиту и не бояться, что она оставит после себя кучу мусора. Лучший откат - это тот, о котором тебе не пришлось думать.
Но откат шага в своей проге это не то же, что откат на стороне cloudflare...
А потом я почитал логи...
В какой-то момент проект дошёл до стадии, когда пилить фичи надоело и я начал просто пользоваться утилитой каждый день. Вот тут-то и полезли самые интересные артефакты.
Как-то вечером после очередного деплоя я заглянул в логи и заметил странное: cloudflared (официальный демон Cloudflare) внезапно переключился с протокола QUIC на старый добрый HTTP/2.
Вообще, это штатное поведение. QUIC работает поверх UDP, и если с UDP что-то идёт не так (роутер ребутнулся, Wi-Fi мигнул, провайдер решил подрезать пакеты) - туннель автоматически падает в фоллбэк на HTTP/2 поверх TCP, чтобы связь вообще не оборвалась.
Странно было другое. Он никогда не переключался обратно.
Подождите... Это что, навсегда?
Сначала я подумал, что чего-то не понимаю в работе туннелей. Ну, наверное, он проверяет сеть раз в пару минут? Или есть скрытая настройка?
Я сидел и караулил логи. Прошёл час, два. Туннель работал идеально, трафик шёл, но намертво сидел на TCP.
Я перерыл официальную документацию - тишина. Пошёл штурмовать гитхаб. И бинго! Нашёл старый тикет, где чувак жаловался ровно на то же самое. Логика у демона Cloudflare простая: если туннель один раз упал в HTTP/2, он больше никогда не попытается вернуться на быстрый QUIC. Только если полностью перезапустить сам процесс ручками. И баг этот висел в issues в официальном репозитории уже очень давно.
Выбора было два: либо смириться и ждать, пока пацаны из Cloudflare это починят (спойлер: можно не дождаться), либо костылить обходной путь. Я выбрал второй вариант.
Пишем вочдог вместо патча
Лезть в исходники самого cloudflared, форкать его и пересобирать сетевой стек ради одного бага - так себе идея. Поэтому я посмотрел на задачу проще: какие данные у меня реально есть на руках?
Ответ оказался банальным: при переходе с QUIC на HTTP/2 демон пишет в stderr конкретную строчку. Всё, это и есть наш API! Зачем анализировать пакеты или пинговать порты, если можно просто читать логи процесса?
План получился такой: cfzt запускает туннель и начинает грепать его логи на лету. Как только ловим строчку о фоллбэке, запускается таймер. Мы не рубим процесс сразу - вдруг сеть ещё штормит. Выжидаем паузу, и если туннель всё ещё на HTTP/2 - тихонько дергаем службу.
При перезапуске cloudflared снова пытается инициировать модный QUIC. Если UDP всё ещё лежит - ок, он опять упадёт в HTTP/2. Наш вочдог это увидит и увеличит таймер ожидания: 10 минут, 20, 40... В итоге шаг баг-оффа упирается в 1 час. Мы не боремся с сетью, мы просто даём туннелю шанс очухаться, когда шторм пройдёт.
Выглядит этот «инженерный фикс» до смешного просто. Вот кусок кода на Go, который закрыл эту проблему раз и навсегда:
// Строка, которую выплёвывает Cloudflare, когда сдается и уходит на TCP
const FallbackSignal = "Failed to connect to the edge over QUIC, falling back to HTTP2"
log.Warn("Обнаружен откат с QUIC на HTTP/2. Запускаем вочдог.")
// Ждём, пока сеть стабилизируется
time.Sleep(backoff)
// Триггерим мягкий перезапуск процесса
restartTrigger <- true
// Экспоненциальный шаг ожидания (максимум до 1 часа)
backoff = min(backoff * 2, 1 * time.Hour)
}
}
}
Решение не претендует на учебники по Computer Science, но оно работает. Теперь, если посреди ночи роутер решит обновиться, утилита подхватит этот момент, переждет грозу и молча вернет туннель на быстрый протокол.
Чему меня научил этот проект
Я начинал писать эту утилиту просто потому, что мне надоело кликать по кнопкам в браузере. В итоге я несколько недель залипал в жизненные циклы процессов, парсинг логов и логику сетевых фоллбэков.
И в этом вся прелесть создания своих инструментов для автоматизации (переизобретенных велосипедов, если хотите). Ты берёшь мелкую бытовую проблему, думаешь: да ладно, сейчас набросаю тонкую CLI обертку за пару часов в субботу. Но как только ты пытаешься сделать интерфейс по-настоящему простым для пользователя, тебе приходится впитать в свой код всю ту сложность, которую разработчики платформы оставили за бортом.
Ты пишешь транзакционный откат, чтобы не разгребать полуживое состояние руками. Ты пишешь вочдог, чтобы не думать о моргающем интернете.
Интерфейс остается крошечным. Инструмент делает всю грязную работу. Ритуал наконец-то разрушен.
Теперь, когда мне нужно поднять новый сервис, я не открываю пять вкладок в браузере. Я просто пишу в консоли:
$ zt up grafana 3000
✔ Creating Cloudflare Tunnel... Done.
✔ Provisioning DNS records... Done.
✔ Setting up Zero Trust Access policies... Done.
✔ Launching background service with QUIC... Done.
Service is live at https: //grafana. yourdomain. com
И спокойно иду пить кофе. Потому что инфраструктура, черт возьми, должна быть скучной.
Ссылка на проект
Если вам тоже надоел этот бесконечный марафон по дашбордам Cloudflare ради домашнего сервера или стейджинга - проект полностью открыт, пользуйтесь.
Буду рад фидбеку. Ломайте, тестируйте, закидывайте ишью или предлагайте фичи. Если утилита сэкономит вам пару минут на выходных - значит, все это было не зря. Только не просите меня добавлять в CLI новые кнопки. Я написал его как раз для того, чтобы их больше никогда не видеть.
Всем привет. Я соло-разработчик, последние годы делаю инструменты для вебмастеров и арбитража. Дотащил до открытой беты главный проект и ищу тех, кто согласится его как следует поломать.
Абстрактное видение движения трафика в вакууме
Коротко, что это. 301 это рабочее пространство для управления доменами, редиректами и трафиком: портфель доменов в одной панели, edge-редиректы с фильтрами по гео и устройству, TDS для A/B и гео-сплитов, атрибуция конверсий через постбэки. Кто работал с Keitaro и подобными трекерами, это та же поляна.
Теперь в чём, собственно, ставка. Классический трекер ты ставишь на свой VPS и дальше живёшь с ним сам: сервер, обновления, нагрузка, упавшая железка в самый неподходящий момент. 301 целиком крутится на Cloudflare, причём на твоём собственном аккаунте. Свой сервер держать не нужно, домены и данные остаются у тебя, я в середине не сижу и твой трафик не вижу. Правило, которое ты запушил, живёт на edge через пару секунд, а не на одной коробке в одном дата-центре.
Что уже работает нормально: домены с массовыми действиями и проверкой через VirusTotal по твоему ключу, edge-редиректы, сплит-тесты на Workers без отдельного VPS. Этим можно пользоваться прямо сейчас.
Где честно сыро: атрибуция через постбэки. Механика есть, но именно её я гонял меньше всего, и под живым потоком от разных сеток она наверняка покажет углы. Поэтому в первую очередь зову тех, у кого есть реальные S2S-постбэки от партнёрок и кому не лень прогнать их через меня и сказать, где отвалилось. Вот тут ваша помощь ценнее всего.
По деньгам без подвоха: сейчас в бете бесплатно всё, а базовый набор функций останется бесплатным навсегда. Не та история, где заманивают халявой, а через месяц режут доступ.
Если откликается, потыкайте 301.ru и напишите мне лично в телегу, я на связи и собираю фидбэк руками: https://t.me/investbloger. Особенно жду ругань по постбэкам. Остальное вроде стоит крепко, но вам со стороны виднее.
Сразу предвосхищу главный вопрос тех, кто льёт на ру: а будет ли это работать, Cloudflare же с прошлого года подрезан RKN. Будет, и вот почему. Редирект это не лендинг, а несколько сотен байт заголовков. После подрезки от канала остаются жалкие килобайты, но редиректу их хватает с запасом: он проскакивает в эти первые байты раньше, чем троттлинг успевает включиться. Тяжёлую страницу через душимый CF ты бы и правда не вытащил, а вот сам переброс трафика, ради которого TDS и существует, уходит быстрее, чем почти где-либо.
Cloudflare сообщила, что автоматизированный трафик впервые в истории интернета превысил объём трафика, создаваемого людьми. По данным компании, в любой момент времени от 52% до 62% всех посещений сайтов приходится на ботов. За последние 7 дней доля автоматизированных систем составила около 57,4%, тогда как на людей пришлось примерно 42,5%.
Это важный момент для всей интернет-инфраструктуры. Cloudflare обслуживает огромную часть мирового веб-трафика, предоставляет CDN-сервисы, защиту от DDoS-атак и помогает сайтам работать быстрее. Поэтому её статистика хорошо показывает, как меняется поведение в сети.
Интересно, что рост связан не только с классическими поисковыми роботами и веб-сканерами. По оценке Cloudflare, главным источником увеличения бот-трафика стали ИИ-агенты. Такие системы собирают данные для обучения моделей искусственного интеллекта, анализируют сайты или выполняют действия от имени пользователей, работающих с чат-ботами и ИИ-помощниками.
При этом важно понимать: боты не обязательно «потребляют» интернет так же, как люди. Пользователь может долго читать статью, смотреть видео или изучать сайт. А ИИ-агент быстро загружает страницу, извлекает нужные данные и переходит дальше. Поэтому один автоматизированный агент способен создавать гораздо больше запросов, чем обычный человек.
Самые высокие показатели бот-трафика Cloudflare зафиксировала в Гибралтаре, Сингапуре, Иране, Ирландии и Нидерландах. Эти данные показывают, что интернет входит в новую фазу: искусственный интеллект становится не просто инструментом пользователей, а самостоятельным крупным участником мировой сети.
По данным Cloudflare, сейчас на ботов, ИИ-агентов и автоматизированные сервисы приходится уже 57% всего интернет-трафика. На живых людей осталось лишь 43%.
Самое безумное, что сооснователь Cloudflare Мэтью Принс ожидал такой перелом только через несколько лет. Но популярность ИИ-агентов растёт настолько быстро, что прогнозы пришлось выбросить в мусорку.
P.s. Страшно представить, что будет через пару лет
С мессенджера «Макс» сняли пометку о «шпионском ПО»
Один из крупнейших в мире хостинг-провайдеров Cloudflare Radar снял метку «шпионского ПО» с мессенджера «Макс». Об этом свидетельствуют данные сервиса.
Вчера в самом приложении заявляли, что мессенджер регулярно проходит аудиты безопасности, все данные пользователей надежно защищены. Как пояснили в «Максе», классификация Cloudflare вызвана неверной интерпретацией заголовков запросов к сервисам обыкновенной веб-аналитики сайта max. ru, а не фактическим анализом кода.
Там добавили, что «Макс» работает с исследователями через программу Bug Bounty и имеет собственный центр безопасности для защиты пользователей от реальных угроз.
