Cloudflare по умолчанию заблокирует ботам с искусственным интеллектом возможность собирать контент⁠⁠

Интернет-компания Cloudflare по умолчанию начнет блокировать роботам с искусственным интеллектом доступ к контенту без разрешения или компенсации владельцев веб-сайтов, что может существенно повлиять на способность разработчиков ИИ обучать свои модели.

Начиная с 01.07.2025 г., каждый новый веб-домен, который регистрируется в Cloudflare, будет получать запрос о том, хочет ли он разрешить работу краулеров с искусственным интеллектом, что фактически даст собственникам доменов возможность запретить ботам собирать данные с их сайтов. Компания также позволит издателям взимать плату за доступ краулеров ИИ, используя новую модель «pay per crawl».

Cloudflare - это так называемая сеть доставки контента, или CDN. Она помогает компаниям быстрее доставлять онлайн-контент и приложения, кэшируя данные ближе к конечным пользователям. Они играют важную роль в обеспечении беспрепятственного доступа людей к веб-контенту каждый день.

По оценкам компании, в отчете за 2023 год, около 16 % мирового интернет-трафика проходит непосредственно через CDN Cloudflare.

Если раньше интернет вознаграждал создателей, направляя пользователей на оригинальные сайты, то сегодня, по мнению Cloudflare, ИИ-краулеры нарушают эту модель, собирая текст, статьи и изображения для создания ответов на запросы таким образом, чтобы пользователям не нужно было посещать первоисточник.