Контент-прунинг (Content Pruning) и чистка зомби-страниц без трафика
1. Архитектура и принцип работы
Сначала собираем полный список URL из sitemap, логов сервера и выгрузки Search Console/Вебмастера. Дальше каждый URL получает метрики за 12 месяцев: клики, показы, конверсии, входящие внутренние ссылки, дата последнего изменения. Страницы без кликов и без ссылок помечаем как кандидатов. Дальше решаем судьбу каждой: оставить, обновить, склеить через 301 на релевантный родитель или убить с 410. Решение принимается не по одной метрике, а по совокупности — есть ли у страницы уникальный интент, есть ли на неё ссылки извне, приносит ли она ассистированные конверсии. После правок обязательно обновляем sitemap, чистим внутренние ссылки на удалённые URL и отправляем изменения на переобход. Через 4–8 недель сверяем краулинговую статистику и позиции кластера: здоровый прунинг поднимает обход живых страниц и концентрирует вес.
2. Математическая механика и триггеры ранжирования
Ключевая формула отбора — скор зомби-страницы: ZombieScore = (0 кликов за 365 дней) × w1 + (0 внутренних ссылок) × w2 + (нет апдейта > 540 дней) × w3 − (есть внешние ссылки) × w4 − (ассистированные конверсии > 0) × w5. Порог отсечения обычно 0.6+. Краулинговый бюджет считаем как CrawlRate = обходов/сутки, а доля мусора = URL без кликов / всего URL; при доле > 40% Google и Яндекс режут частоту обхода. Для склейки проверяем семантическую близость: косинус между TF-IDF векторами родителя и донора > 0.75 — можно 301, иначе 410. После удаления мониторим Soft 404 в Вебмастере и Crawl Stats в GSC: рост доли 5xx/404 выше 5% от обходов — сигнал, что прунинг задел живое.
3. Специфика в Яндекс (YATI) vs Google
Яндекс агрессивнее реагирует на тонкий дорвей-контент через алгоритмы вроде «Минусинска» и Баден-Бадена, поэтому зомби-страницы на одном шаблоне с переставленными словами быстрее топят весь хост. Google смотрит на Helpful Content и Site Reputation: мусорные URL снижают общий quality score, но точечное удаление ощущается мягче. По склейке: Яндекс надёжнее переносит вес через 301 при совпадении интента, Google любит явные canonical и редиректы без цепочек. По удалению: Google быстрее выкидывает из индекса через 410 + Removals, Яндекс требует переобхода и дольше держит в кэше. В обоих случаях логи сервера — единственный честный источник: GSC и Вебмастер показывают только то, что засэмплировано.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Доля URL без кликов за 12 мес | < 25% | > 40% |
| Доля 404/410 в Crawl Stats | < 3% | > 5% |
| Средний краулинговый бюджет на живую страницу | растёт после прунинга | падает или стоит на месте |
5. Пошаговый инженерный протокол внедрения
- Выгрузите все URL из sitemap + логи за 90 дней + GSC/Вебмастер за 12 месяцев, сведите в таблицу с полями: url, клики, показы, конверсии, входящие ссылки, дата апдейта, тип страницы.
- Пометьте зомби по ZombieScore, отдельно вынесите страницы с внешними ссылками и ассистированными конверсиями — их нельзя удалять, только обновлять или склеивать.
- Для каждой группы решите: update / 301 на родителя / 410. Проверьте косинус TF-IDF перед 301, постройте карту редиректов без цепочек длиннее одного хопа.
- После деплоя обновите sitemap, уберите внутренние ссылки на удалённые URL, отправьте переобход, через 4–8 недель сверьте Crawl Stats и позиции кластера.
ZombieScore = 0.4*(clicks_365==0) + 0.3*(internal_links==0) + 0.2*(days_since_update>540) - 0.5*(ext_links>0) - 0.6*(assisted_conv>0); if score >= 0.6 and ext_links==0: candidate_for_410; elif cosine(tfidf(url), tfidf(parent)) > 0.75: 301 -> parent; else: update_or_keep
6. Типичные ошибки при оптимизации
- Удалять всё, что не приносит кликов, не проверив внешние ссылки и ассистированные конверсии — теряете вес и касания воронки.
- Склеивать 301 на нерелевантную страницу ради «сохранения веса» — получаете мягкий 404 и размытие тематики у родителя.
- Забыть про внутренние ссылки и sitemap после удаления — краулер продолжает бить в 404, доля ошибок в обходе растёт, живые страницы обходятся реже.
