Cean-param в robots.txt: как заставить Яндекс игнорировать ваши косяки
Этот робот Яндекса только что обнаружил 100500 версий одной страницы из-за UTM-меток. Справа — он же после clean-param. Заметили разницу в выражении 'лица'?"😂
Привет, пикабушники!
Сегодня мы будем учить Яндекс игнорировать... нет, не ваши опоздания на работу, а те дурацкие параметры в URL, которые плодят дубли страниц и заставляют роботов плакать.
🤖 ЧТО ЭТО ЗА ЗВЕРЬ ТАКОЙ — CLEAN-PARAM?
Ситуация из жизни:
Ваш маркетолог радостно создает ссылку:
site. com/tovar?utm_source=google&utm_campaign=super_puper
Ваш пользователь делится ею: site. com/tovar?share_id=123&from=facebook
Робот Яндекса видит это и: "О, три РАЗНЫХ страницы! Надо просканировать каждую!"
Результат:
Дубли контента ✓
Растрата бюджета сканирования ✓
Головная боль SEO-специалиста ✓
Clean-param — это такая волшебная палочка в файле robots.txt, которая шепчет Яндексу: "Эти параметры в URL — просто шум, игнорируй их!"
🛠 КАК ЭТО РАБОТАЕТ? ПРОЩЕ ПАРЕННОЙ РЕПЫ!
Базовый синтаксис:
Clean-param: имя_параметра /путь/
Перевод на человеческий:
"Эй, Яндекс, параметр utm_source на всех страницах сайта — это просто метка, не обращай на него внимания!"
🎪 РЕАЛЬНЫЕ ПРИМЕРЫ ИЗ ЖИЗНИ
Пример 1: убираем все UTM-метки на всем сайте
User-agent: Yandex Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content /
Что происходит: Яндекс перестает видеть разницу между:
site. com/page?utm_source=google
site. com/page?utm_source=facebook
site. com/page
Пример 2: Убираем ID сессии только в корзине
User-agent: Yandex Clean-param: sid /cart/
Что происходит: Яндекс понимает, что site. com/cart/?sid=abc123 и site. com/cart/ — одна и та же корзина (и там одинаково пусто 😄)
⚠ ОСТОРОЖНО, ПОДВОДНЫЕ КАМНИ!
ТО, ЧТО МОЖЕТ УБИТЬ ВАШЕ SEO:
🚫 Никогда не используйте для параметров, которые МЕНЯЮТ контент:
?lang=en — меняет язык
?sort=price — меняет сортировку
?category=books — меняет категорию
🚫 Google это не поймет — директива работает только для Яндекса! Для Google используйте rel="canonical".
🚫 Одна ошибка в синтаксисе — и все перестает работать. Проверяйте в Яндекс.Вебмастере!
🤦♂ ЧАСТЫЕ ВОЗРАЖЕНИЯ И ИХ РАЗОБЛАЧЕНИЕ
«А зачем это нужно, если есть canonical?»
Канонические ссылки — это как сказать роботу: "Вот главная версия страницы". А Clean-param — это крик: "Эй, не трать время на сканирование этих дублей!"
«У нас маленький сайт, это не нужно»
А вы знаете, что один неугомонный маркетолог с UTM-метками может создать больше дублей, чем страниц на вашем сайте?
«Это слишком сложно»
Сложнее — объяснять боссу, почему ваш сайт вылетел из индекса из-за миллиона дублей страниц с UTM-метками.
🎯 ПРАКТИЧЕСКИЙ ПЛАН ДЕЙСТВИЙ
Заходим в Яндекс.Вебмастер → смотрим, какие параметры сканирует робот
Определяем, какие параметры безопасно игнорировать (UTM, сессии, рефералы)
Прописываем в robots.txt по примерам выше
Проверяем в валидаторе Яндекс.Вебмастера
Наблюдаем, как робот перестает сканировать тонны мусора
🏁 ЗАКЛЮЧЕНИЕ
Clean-param — это как научить уборщицу не мыть уже чистый пол. Вы экономите:
✅ Бюджет сканирования — робот тратит время на полезный контент
✅ Нервы — меньше дублей, меньше проблем
✅ Время — не нужно чистить индекс от мусора
P.S. Если после прочтения вы:
Побежали проверять свой robots.txt — вы на правильном пути
Решили, что "и так сойдет" — готовьтесь к уборке дублей вручную
Не поняли, о чем речь — пишите в комментах, разберемся вместе!
P.P.S. Делитесь в комментах своими войнами с дублями — самые эпичные баталии получите +100 к карме! 🚀