Малополезный контент (МПК), спам и дубли в Яндекс.Вебмастере: как снять ограничение
1. Архитектура и принцип работы
Вебмастер получает сигналы из поиска: поведенческие (отказы, короткие визиты, возвраты в выдачу), текстовые (переспам, отсутствие уникальных сущностей), технические (дубли, каннибализация, тонкие страницы). Алгоритм считает страницу МПК, если она не закрывает интент по кластеру запросов. Статус отображается в разделе «Качество» и в письмах-уведомлениях. Снятие ограничения — не кнопка, а цикл: собрать список URL под ограничением, разметить интенты, переписать или удалить, отправить на переобход. Для больших сайтов это ручная работа с текстом, поэтому используют AI-контент и LSI-копирайтинг: модель генерирует черновик по сущностям кластера, редактор проверяет факты. Важно не плодить новые страницы под каждый ключ — это рождает дубли и каннибализацию, которые снова ведут к МПК.
2. Математическая механика и триггеры ранжирования
Алгоритм оценивает страницу по вектору: релевантность интенту, информационная плотность, уникальность, поведенческие метрики. Информационную плотность считают как отношение уникальных сущностей к общему числу токенов: IP = U_entities / T_total. При IP ниже 0.05 текст считают водянистым. Переспам ловят по TF-IDF: если частота ключа выше средней по топ-10 в 2–3 раза, растёт риск спам-фильтра. Дубли определяют по шинглам: хеши n-грамм (n=5–7) сравнивают по Жаккару, порог схожести 0.8+ — кандидат на склейку. Поведенческие: доля отказов > 70% и время < 15 секунд на мобильных — красный флаг. Вебмастер агрегирует это в статус «малополезная страница». Снятие — через переобход после правок: робот пересчитывает вектор, статус обновляется в течение 2–4 недель.
3. Специфика в Яндекс (YATI) vs Google
Яндекс явно показывает статус МПК в Вебмастере и присылает уведомления — Google работает через Helpful Content и ручные санкции без публичного статуса. Яндекс сильнее опирается на поведенческие сигналы и коммерческие факторы, Google — на E-E-A-T и ссылочный профиль. В Яндексе переспам ключами наказывается быстрее из-за морфологии и лемматизации. Дубли в Яндексе склеиваются агрессивнее, в Google чаще оставляют канонический URL. Для снятия ограничения в Яндексе важнее переписать текст и убрать каннибализацию, в Google — усилить экспертность и внешние сигналы.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Информационная плотность (IP) | > 0.08 | < 0.05 |
| Схожесть дублей (Жаккар, n=5) | < 0.6 | > 0.8 |
| Доля отказов на мобильных | < 40% | > 70% |
5. Пошаговый инженерный протокол внедрения
- Выгрузить из Вебмастера список URL со статусом МПК и разметить каждый по интенту кластера (информационный, транзакционный, навигационный).
- Снять TF-IDF по топ-10 для каждого кластера и переписать тексты: убрать переспам, добавить уникальные сущности, цифры, таблицы, FAQ.
- Найти дубли по шинглам (Жаккар ≥ 0.8), склеить через canonical или 301, удалить тонкие страницы-сателлиты.
- Отправить исправленные URL на переобход в Вебмастере и мониторить статус 2–4 недели, фиксируя поведенческие метрики.
IP = U_entities / T_total; Jaccard(A,B) = |A ∩ B| / |A ∪ B|; флаг МПК если IP < 0.05 или Jaccard > 0.8 или TF-IDF ключа > 3× медианы топа6. Типичные ошибки при оптимизации
- Переписывать текст без разметки интентов — новые страницы снова попадают под МПК из-за несоответствия запросу.
- Генерировать AI-текст без фактчекинга и уникальных сущностей — информационная плотность остаётся низкой, статус возвращается.
- Игнорировать дубли и каннибализацию — переобход не помогает, пока несколько URL конкурируют за один кластер.