Физическая и кликовая глубина вложенности URL (Click Depth)
1. Архитектура и принцип работы
Робот начинает обход с главной страницы и следует по ссылкам, формируя граф. Каждый переход увеличивает кликовую глубину. Если до страницы нет прямых ссылок из меню или листингов, она может оказаться на глубине 5–10 кликов и реже переобходиться. Физическая глубина вложенности URL (количество сегментов пути) влияет на читаемость и иногда на приоритет сканирования, но не является прямой директивой. На практике поисковики комбинируют оба параметра: страницы с меньшей кликовой глубиной получают больше краулингового бюджета и чаще переиндексируются. При технической оптимизации важно сокращать цепочки редиректов, убирать тупиковые страницы и обеспечивать перелинковку ключевых разделов с главной.
2. Математическая механика и триггеры ранжирования
Клик-глубина рассчитывается как минимальное число переходов по внутренним ссылкам от корня. Для каждой страницы можно построить распределение: D = min(depth). Оптимально, если 80% целевых URL имеют D ≤ 4. Физическая глубина = число сегментов в path (например, /a/b/c/ = 3). В логах сервера анализируют частоту обхода: страницы с D > 5 получают менее 10% краулингового бюджета. Формула приоритета: Priority = (1 / (D + 1)) * log(1 + InLinks). Рекомендуется держать размер HTML ≤ 100 КБ, количество ссылок на странице ≤ 150, а цепочку редиректов ≤ 1. Для больших сайтов строят карту кликовой глубины через Screaming Frog (Crawl Depth) и сравнивают с физической. Если физическая глубина > 4, а кликовая ≤ 3 — это нормально; обратное — сигнал о проблемах с навигацией.
3. Специфика в Яндекс (YATI) vs Google
Яндекс в документации упоминает важность «неглубокой» структуры для быстрой индексации, но не даёт точных порогов. Google в руководстве по краулингу рекомендует делать важные страницы доступными за 3 клика. Оба поисковика используют кликовую глубину как фактор распределения краулингового бюджета, но Google чаще переобходит глубокие страницы при наличии внешних ссылок. Яндекс сильнее реагирует на физическую вложенность URL и наличие ЧПУ. В обоих случаях глубокие страницы без внутренних ссылок могут выпадать из индекса. Для технической оптимизации важно сокращать кликовую глубину до 3–4 для коммерческих разделов и следить за равномерностью обхода через Яндекс.Вебмастер и Google Search Console.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| Кликовая глубина ключевых страниц (Click Depth) | ≤ 3 клика | > 5 кликов |
| Физическая глубина URL (число сегментов) | ≤ 4 | ≥ 6 |
| Доля страниц с глубиной > 4 в индексе | < 10% | > 30% |
5. Пошаговый инженерный протокол внедрения
- Постройте отчёт Crawl Depth в Screaming Frog или Sitebulb и выделите страницы с кликовой глубиной > 4. Сравните с физической глубиной URL.
- Добавьте прямые ссылки на глубокие важные страницы из главного меню, хлебных крошек или блока «Популярное», сократив цепочку до 2–3 кликов.
- Уберите цепочки редиректов и битые ссылки, которые увеличивают эффективную глубину. Настройте 301-редиректы сразу на конечный URL.
- Создайте XML-карту сайта с приоритетами для ключевых разделов и отправьте её в Яндекс.Вебмастер и Google Search Console, чтобы ускорить обнаружение.
- Проведите внутреннюю перелинковку: из каждой статьи или карточки товара добавьте 2–3 контекстные ссылки на смежные разделы, снижая среднюю глубину.
Правило: для каждой страницы вычисляйте click_depth = min(количество внутренних переходов от главной). Если click_depth > 4 и страница важна (коммерческая), добавьте прямую ссылку из меню или блока. Пример проверки в Python (NetworkX):
import networkx as nx
G = nx.DiGraph()
G.add_edges_from([('main','catalog'), ('catalog','product')])
depths = nx.single_source_shortest_path_length(G, 'main')
print(depths['product']) # 2
6. Типичные ошибки при оптимизации
- Игнорирование кликовой глубины: сайт с физически плоской структурой (все URL на одном уровне), но важные страницы доступны только через поиск или пагинацию на 10-й странице.
- Чрезмерная физическая вложенность: использование пути вида /cat/subcat/subsubcat/product/ без необходимости, что усложняет URL и увеличивает кликовую глубину.
- Отсутствие перелинковки из главной страницы: ключевые разделы доступны только через карту сайта или внешние ссылки, что приводит к редкому обходу роботом.
