Директива Clean-param в Яндексе: очистка GET-параметров и UTM-меток без потери бюджета

1. Архитектура и принцип работы

Директива живёт в robots.txt отдельными строками Clean-param. Формат: путь к разделу, затем список параметров через амперсанд. Робот при обходе ссылки /catalog/telefony/?utm_source=ya&from=menu видит, что utm_source и from объявлены в Clean-param для /catalog/, отбрасывает их и ставит в очередь канонический /catalog/telefony/. Склеивание идёт на этапе формирования очереди обхода — страница с «грязным» URL вообще не краулится отдельно, а вес ссылок перетекает на чистый адрес. Работает только для GET-параметров; путь до знака вопроса должен совпадать с шаблоном директивы. Если параметр реально меняет контент (page, filter, sort по цене), его в Clean-param не пишут — иначе робот склеит разные страницы пагинации и фильтров, и часть товаров выпадет из индекса. Директива не удаляет URL из индекса мгновенно: уже проиндексированные «грязные» адреса выпадают после переобхода и пересчёта.

2. Математическая механика и триггеры ранжирования

Синтаксис: Clean-param: param1&param2 /path/. Путь — префикс, к которому применяется правило; можно указать несколько строк под разные разделы. Порядок параметров в URL не важен, регистр имён — важен. Пример для магазина: Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&fbclid&from&ref / . Отдельно для фильтров, которые не создают уникального контента: Clean-param: view&per_page /catalog/. Ключевой нюанс — Clean-param не конфликтует с Canonical, но при расхождении робот Яндекса отдаёт приоритет директиве при формировании очереди обхода, а canonical учитывает при выборе представителя в выдаче. Для пагинации и фасетных фильтров используйте rel=canonical и запрет через Disallow, а не Clean-param. Проверка: раздел «Индексирование → Страницы в поиске» в Яндекс.Вебмастере, отчёт «Страницы, исключённые из поиска» по причине «склеены директивой Clean-param».

3. Специфика в Яндекс (YATI) vs Google

Google директиву Clean-param не поддерживает. Вместо неё работает параметр URL в Search Console («Настройки сайта → Параметры URL»), но инструмент урезан и не влияет на краулинговый бюджет так же прямо. Google опирается на rel=canonical и сам решает, какие параметры игнорировать. Яндекс обрабатывает Clean-param на этапе обхода, поэтому для больших каталогов с UTM-хвостами это дешевле по краулинговому бюджету. Практика: для Яндекса — Clean-param в robots.txt, для Google — canonical и аккуратные внутренние ссылки без UTM. Дублируйте стратегию: canonical на всех страницах каталога, Clean-param для трекинговых параметров, Disallow для мусорных сортировок.

4. Нормативы SLA и диагностическая матрица

5. Пошаговый инженерный протокол внедрения

• Составьте список GET-параметров из логов и Вебмастера: разделите на трекинговые (utm_*, yclid, gclid, from, ref) и контентные (page, filter, sort, color). Контентные в Clean-param не включайте.
• Пропишите строки Clean-param в robots.txt по разделам: общие трекинговые параметры на /, параметры пагинации оставьте вне директивы.
• Проверьте синтаксис в Вебмастере через «Проверить robots.txt» и убедитесь, что директивы распознаны без ошибок.
• Через 2–4 недели сверьте «Страницы в поиске»: число склеенных URL должно вырасти, а обход каталога — ускориться. Дубли с UTM должны уйти из индекса.

# robots.txt для интернет-магазина
User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&fbclid&from&ref /
Clean-param: view&per_page /catalog/
Disallow: /*?sort=
Disallow: /*?page=
Sitemap: https://shop.ru/sitemap.xml

6. Типичные ошибки при оптимизации

• Добавлять в Clean-param контентные параметры (page, filter, sort) — робот склеит разные страницы, товары и пагинация выпадут из индекса.
• Писать директиву без пути или с неверным префиксом — правило не применится к нужному разделу каталога.
• Ждать мгновенного эффекта: Clean-param влияет на очередь обхода, а не удаляет уже проиндексированные URL — нужен переобход и время.