Страницы-сироты (Orphan Pages): влияние на граф сайта и методы обнаружения
1. Архитектура и принцип работы
Краулер стартует с главной и идёт по href. Всё, что достижимо по ссылкам, образует связный граф обхода. Сирота в этот граф не попадает: ссылок на неё нет ни в навигации, ни в контенте, ни в sitemap-связке. Найти её можно только по внешним ссылкам, из sitemap.xml или через логи сервера. Дальше работает логика графа: PageRank и внутренний вес распределяются по рёбрам, а у изолированной вершины входящих рёбер ноль — она получает минимум авторитета. Краулинговый бюджет на неё не тратится, переобход редкий, изменения контента индексируются с задержкой. Если на сироту всё же ведут внешние ссылки, она индексируется, но конкурирует с связанными страницами без внутренней поддержки. На больших сайтах сироты копятся после редизайнов, смены ЧПУ и удаления блоков «похожие материалы» — граф рвётся, и часть каталога выпадает из обхода.
2. Математическая механика и триггеры ранжирования
Считаем достижимость обходом в ширину от корня: множество R = BFS(G, root). Сироты = V \ R, где V — все известные URL (sitemap, логи, БД). Для каждой вершины входящая степень indeg(v) = |{u : (u,v) ∈ E}|; у сироты indeg = 0. PageRank: PR(v) = (1-d)/N + d·Σ PR(u)/outdeg(u), d = 0.85. При indeg = 0 остаётся только телепортация (1-d)/N ≈ 0.15/N — фактически ноль. Порог глубины: краулеры режут обход на depth > 5–7 от корня, поэтому страницы, достижимые только через 8+ клика, ведут себя как сироты. Внутренний вес удобно мерить через распределение ссылок: если на раздел из 500 URL ведёт 3 ссылки, средний вес на URL падает. Проверяем через crawl depth, indeg, orphan rate = |V \ R| / |V|. Норма orphan rate < 1–2% для каталога, > 5% — красный флаг.
3. Специфика в Яндекс (YATI) vs Google
Google относится к сиротам терпимее: если URL есть в sitemap.xml и на него ведут внешние ссылки, он индексируется, хоть и с низким приоритетом переобхода. Google прямо рекомендует sitemap как канал обнаружения. Яндекс жёстче опирается на внутренний граф: страница без входящих внутренних ссылок реже попадает в основной индекс и хуже ранжируется по коммерческим запросам, даже при внешних ссылках. Обе системы используют краулинговый бюджет, и сироты его не получают. Разница в диагностике: в Яндекс.Вебмастере смотрите «Страницы в поиске» и «Диагностику», в Google Search Console — отчёт «Индексирование страниц» и «Sitemaps». Для аудита важно сверять оба источника: страница может быть в индексе Яндекса по внешним ссылкам и отсутствовать в обходе Google.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Orphan rate (доля сирот от всех URL) | < 1–2% | > 5% |
| Crawl depth сироты от корня | ≤ 4 клика | > 7 кликов или недостижима |
| Входящие внутренние ссылки (indeg) | ≥ 3 с разных хабов | 0 |
5. Пошаговый инженерный протокол внедрения
- Снимите полный список URL из sitemap.xml, БД и логов сервера, затем прогоните краулером (Screaming Frog, Sitebulb) с включённым обходом от корня и сравните множества: разница = кандидаты в сироты.
- Проверьте indeg каждой сироты через внутренний поиск ссылок (inlinks в краулере или SQL по таблице ссылок), отфильтруйте страницы с indeg = 0 и подтвердите статус 200.
- Добавьте ссылки из релевантных хабов и блоков навигации, обновите sitemap и переобход, контролируя crawl depth и появление URL в логах.
- Для неактуальных сирот настройте 301 на ближайший релевантный URL или 410, чтобы убрать мусор из графа и не тратить краулинговый бюджет.
orphans = all_urls - bfs_reachable(root, max_depth=7)
# all_urls: sitemap.xml ∪ логи ∪ БД
# bfs_reachable: обход по href от главной
# для каждой сироты: indeg = count(internal_links WHERE target = url)
# orphan_rate = len(orphans) / len(all_urls)
6. Типичные ошибки при оптимизации
- Считать sitemap.xml заменой внутренним ссылкам: обнаружение есть, но вес и приоритет обхода не передаются, страница остаётся слабой в графе.
- Игнорировать сироты, которые уже в индексе: индексация не равна ранжированию, без входящих внутренних ссылок страница проигрывает связанным конкурентам.
- Массово удалять все сироты без разбора: часть из них — целевые лендинги с внешним трафиком, им нужны внутренние ссылки, а не 404.
