Поисковый интент и кластеризация по ТОП-10
1. Архитектура и принцип работы
Архитектура фактора основана на анализе SERP как отражении коллективного поведения пользователей. История: с 2010-х поисковики перешли от лексического к семантическому пониманию, внедрив нейросети (RankBrain, YATI). Кластеризация по ТОП-10 возникла как эмпирический метод: если по разным запросам в топ-10 преобладают одни и те же страницы, значит, поисковик видит единый интент. Фундаментально это работает через граф URL-совпадений: строится матрица смежности запросов, где вес ребра — количество общих позиций. Затем применяются алгоритмы кластеризации (например, иерархическая или DBSCAN) для выделения плотных групп. Такой подход позволяет сегментировать семантику на транзакционные, информационные, навигационные и коммерческие интенты, прогнозируя, какой тип страницы (карточка товара, статья, категория) должен ранжироваться. Это снижает каннибализацию и повышает релевантность выдачи.
2. Математическая механика и триггеры ранжирования
Технически кластеризация по ТОП-10 формализуется через матрицу пересечений S[i][j] = |URL_i ∩ URL_j| / 10, где URL_i — множество URL в топ-10 по запросу i. Порог объединения обычно 3-4 общих URL (вес 0.3-0.4). Для каждого кластера вычисляется интент-вектор: доля коммерческих, информационных, навигационных признаков на основе разметки топ-URL (наличие корзины, формы заказа, блога). Триггеры пессимизации: если страница не соответствует доминирующему интенту кластера (например, статья по коммерческому запросу), поисковик понижает её через алгоритмы качества (Яндекс — ПФ «Оценка соответствия интенту», Google — BERT-фильтры). Влияние на ранжирование: кластеры задают ожидаемый формат контента; несоответствие снижает CTR, что усиливает пессимизацию через поведенческие факторы. Веса факторов: совпадение URL в топ-10 — 0.6, семантическое сходство заголовков — 0.3, совпадение типов страниц — 0.1. Кластеризация также используется для построения внутренней перелинковки: страницы одного кластера связываются, передавая вес и улучшая навигацию.
3. Специфика в Яндекс (YATI) vs Google
Яндекс учитывает интент через YATI (Yet Another Transformer for Intent) и поведенческие факторы (ПФ): анализирует клики, доскроллы, возвраты. Кластеризация по ТОП-10 в Яндексе часто опирается на алгоритм «Крауд» и разметку Толоки, где интент-группы формируются с учётом региональности и коммерциализации. Google использует Core Updates и Entity Graph: интент определяется через BERT и граф сущностей, где запросы связываются с сущностями Knowledge Graph. Кластеризация в Google более семантическая, чем позиционная, но ТОП-10 остаётся сигналом: совпадение URL в топ-10 трактуется как синонимия интентов. Google строже к несоответствию формата (E-E-A-T), а Яндекс активнее использует поведенческие триггеры для переранжирования внутри кластера.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Доля общих URL в кластере (Jaccard) | ≥ 0.4 | < 0.2 |
| Соответствие формата страницы интенту | 100% кластеров | < 80% |
| Каннибализация внутри кластера | 0-1 URL на запрос | > 2 URL |
5. Пошаговый инженерный протокол внедрения
- Соберите семантику из Wordstat, Key Collector и конкурентов, очистите от мусора и брендовых запросов, оставив только целевые.
- Спарсите ТОП-10 Яндекса и Google по каждому запросу через XMLRiver или Serpstat, сохранив URL и позиции в таблицу.
- Постройте матрицу пересечений URL и кластеризуйте алгоритмом иерархической кластеризации с порогом 3-4 общих URL.
- Для каждого кластера определите доминирующий интент по типу топ-URL (товар, статья, категория) и зафиксируйте эталонный формат.
- Сопоставьте кластеры с существующими страницами, выявите каннибализацию и спроектируйте структуру сайта под каждый интент.
import numpy as np
from scipy.cluster.hierarchy import linkage, fcluster
# matrix: бинарная матрица запросы x URL (1 если URL в топ-10)
dist = 1 - (matrix @ matrix.T) / 10
Z = linkage(dist, method='average')
clusters = fcluster(Z, t=0.7, criterion='distance')
# порог 0.7 соответствует ~3 общим URL6. Типичные ошибки при оптимизации
- Игнорирование региона: кластеры по ТОП-10 без учёта гео дают ложные группы. Всегда парсите выдачу с нужным регионом и устройством.
- Слепое доверие порогу: фиксированный порог 3 URL не универсален. Проверяйте плотность связей и вручную валидируйте пограничные кластеры.
- Отсутствие проверки интента: группировка только по URL без анализа типа страниц приводит к смешению коммерческих и информационных запросов.