Аффилиат-фильтр Яндекса: диагностика склейки сайтов и вывод из-под санкций
1. Архитектура и принцип работы
Алгоритм собирает сигналы принадлежности: WHOIS и регистратор, совпадающие телефоны, адреса, e-mail, счётчики Метрики, шаблоны CMS, IP-подсети и SSL-сертификаты. Дальше строит граф связей между доменами и ищет плотные кластеры. Внутри кластера сравнивает контент: шаблонные тексты, общие каталоги, одинаковые title и структуру URL. Если пересечение выше порога, домены помечаются как аффилированные. При ранжировании по запросу выбирается главное зеркало кластера — обычно сайт с лучшим поведенческим профилем и историей. Остальные либо не показываются, либо показываются ниже с урезанным сниппетом. Фильтр не является ручной санкцией: он пересчитывается на каждом апдейте, поэтому «вылечиться» можно без заявки в поддержку, но и повторное попадание возможно при сохранении связей.
2. Математическая механика и триггеры ранжирования
Кластеризация идёт по взвешенному графу: вес ребра между доменами A и B складывается из совпадения WHOIS-полей (w=0.3), контактов на сайте (0.25), общих счётчиков Метрики (0.2), IP/подсети (0.15) и контентного сходства (0.1). Контентное сходство считают по шинглам: sim = |S_A ∩ S_B| / |S_A ∪ S_B|, порог обычно около 0.6–0.7 для шаблонных страниц. Если суммарный вес кластера превышает порог, домены склеиваются. Дальше работает выбор главного зеркала: score = 0.4·CTR + 0.3·глубина + 0.2·возраст + 0.1·ИКС. Домен с максимальным score получает трафик. Внутренние метрики Метрики (отказы, время на сайте) считаются по кластеру целиком, а не по отдельному домену — это ключевой момент диагностики.
3. Специфика в Яндекс (YATI) vs Google
Яндекс склеивает сайты агрессивнее и по более широкому набору сигналов: WHOIS, контакты, счётчики, IP. Google в первую очередь смотрит на контент и ссылочные схемы, а affiliation-фильтр применяет реже и мягче. У Яндекса главное зеркало выбирается автоматически, у Google чаще работает просто понижение для дублей. Российский поисковик учитывает ИКС и региональность, Google — PageRank и E-E-A-T. Для вывода из-под санкций в Яндексе нужно физически развести сигналы: разные владельцы, контакты, хостинг, шаблоны. В Google достаточно убрать дублирующий контент и перелинковку. Диагностика в Яндексе начинается с проверки WHOIS и Метрики, в Google — с анализа контента и ссылок.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Контентное сходство (шинглы) | < 0.5 | > 0.7 |
| Совпадение WHOIS-полей | 0 полей | 3+ поля |
| Общие счётчики Метрики | 0 | 1+ |
5. Пошаговый инженерный протокол внедрения
- Соберите граф связей: выгрузите WHOIS, контакты, счётчики Метрики, IP и SSL по всем доменам группы, постройте матрицу совпадений и найдите кластеры с весом выше порога.
- Разведите сигналы: смените владельца и контакты в WHOIS, поставьте отдельные счётчики Метрики, перенесите сайты на разные IP и подсети, замените шаблоны CMS и SSL-сертификаты.
- Перепишите шаблонный контент: уникализируйте title, description, структуру URL и тексты каталогов, снизьте контентное сходство ниже 0.5 по шинглам.
- Подайте сайты на переобход через Яндекс.Вебмастер, отслеживайте динамику главного зеркала и поведенческих метрик по каждому домену отдельно в течение 4–8 недель.
sim = |S_A ∩ S_B| / |S_A ∪ S_B|; weight = 0.3·whois + 0.25·contacts + 0.2·metrika + 0.15·ip + 0.1·content; if weight > threshold: cluster.append(A, B); main = argmax(0.4·CTR + 0.3·depth + 0.2·age + 0.1·IKS)6. Типичные ошибки при оптимизации
- Менять только контакты на сайте, не трогая WHOIS и счётчики Метрики — алгоритм продолжает видеть связь по регистратору и аналитике.
- Оставлять общие шаблоны CMS и одинаковую структуру URL — контентное сходство остаётся выше порога, кластер не распадается.
- Ждать мгновенного выхода из-под фильтра после правок — пересчёт идёт на апдейте, обычно 2–6 недель, и требует повторной проверки графа связей.