Google Search Console (GSC): анализ индексации, отчетов Page Indexing и CWV
1. Архитектура и принцип работы
GSC собирает данные из трех источников: краулинг Googlebot, рендеринг страниц и агрегация поисковой выдачи. Владелец подтверждает домен через DNS-запись, HTML-файл или Google Analytics. Дальше Search Console показывает срез: отчет Page Indexing группирует URL по статусам (Indexed, Crawled — currently not indexed, Discovered — currently not indexed, Excluded by noindex, Soft 404, Redirect error, Server error 5xx, Blocked by robots.txt). Вкладка Sitemaps сообщает, сколько URL из карты принято и проиндексировано. Отчет Core Web Vitals берет данные из Chrome UX Report (CrUX) — реальные замеры LCP, INP и CLS с устройств пользователей за скользящее 28-дневное окно. Performance показывает клики, показы, CTR и среднюю позицию по запросам. Проверка URL (URL Inspection) дергает live-тест: Googlebot заново фетчит страницу и отдает HTML, статус индексации, обнаруженные canonical и structured data. Все это — фундамент для технического аудита: GSC говорит, что именно чинить, а не абстрактное «улучшить SEO».
2. Математическая механика и триггеры ранжирования
Отчет Page Indexing строится на статусе последнего краулинга каждого URL. Ключевые состояния: 'Crawled — currently not indexed' означает, что Googlebot скачал страницу, но не счел ее достойной индекса; 'Discovered — currently not indexed' — URL известен из sitemap или ссылок, но краулер до него не дошел (типично для сайтов с crawl budget-проблемами). Soft 404 ловится по эвристике: HTTP 200, но контент похож на «не найдено» (мало текста, шаблон ошибки). Core Web Vitals пороги: LCP ≤ 2.5 с (good), 2.5–4.0 с (needs improvement), > 4.0 с (poor); INP ≤ 200 мс / 200–500 мс / > 500 мс; CLS ≤ 0.1 / 0.1–0.25 / > 0.25. Метрика оценивается по 75-му перцентилю реальных замеров CrUX, а не по среднему. Поле 'Why pages aren't indexed' агрегирует причины; вкладка 'Page indexing' в URL Inspection показывает 'User-declared canonical' против 'Google-selected canonical' — расхождение сигналит о каннибализации или кривых редиректах. Sitemap-статус 'Success' не гарантирует индексацию: он значит лишь, что карта прочитана. CTR в Performance считается как clicks / impressions × 100%, средняя позиция — взвешенное по показам среднее.
3. Специфика в Яндекс (YATI) vs Google
Яндекс.Вебмастер и GSC решают одну задачу, но расходятся в деталях. В Яндексе есть «Индексирование страниц» с разбивкой на «В поиске» / «Исключено», плюс «Диагностика» с явными ошибками и «Качество сайта». Google оперирует статусами Page Indexing и отдельно выносит Core Web Vitals как самостоятельный отчет, тогда как Яндекс зашивает скорость в «Скорость сайта» без CrUX-перцентилей. Яндекс исторически агрессивнее выкидывает из индекса дубли и «малополезные» страницы, Google дольше держит 'Crawled — currently not indexed'. В Яндексе есть «Переобход страниц» — ручной запрос краулинга, в GSC аналог — Request Indexing в URL Inspection с суточным лимитом. Метрики кликов в Яндексе считаются по Метрике и Вебмастеру, в Google — только по GSC. Для РФ-проекта аудит ведут в обоих кабинетах: расхождения в индексации — частая причина просадок.
4. Нормативы SLA и диагностическая матрица
| Параметр / Метрика | Эталон по SLA | Критическая ошибка |
|---|---|---|
| LCP (Core Web Vitals, 75-й перцентиль) | ≤ 2.5 с | > 4.0 с |
| INP (Interaction to Next Paint) | ≤ 200 мс | > 500 мс |
| Доля проиндексированных URL от отправленных в sitemap | ≥ 90% | < 60% |
5. Пошаговый инженерный протокол внедрения
- Выгрузить из Page Indexing все URL со статусами 'Crawled — currently not indexed' и 'Discovered — currently not indexed', отсортировать по количеству внутренних ссылок и проверить топ-50 через URL Inspection на canonical и robots-директивы.
- Сверить sitemap-файлы с фактическим списком индексируемых URL: убрать 404/301/noindex-страницы из карты, оставить только канонические 200-URL, переотправить и проверить статус 'Success' в течение 72 часов.
- В отчете Core Web Vitals отфильтровать мобильные URL с LCP > 4 с, вытащить конкретные шаблоны страниц и прогнать их через PageSpeed Insights + Lighthouse для поиска блокирующих ресурсов и тяжелых изображений.
- Сопоставить 'User-declared canonical' и 'Google-selected canonical' в URL Inspection по выборке из 100 ключевых страниц: расхождения лечить правкой rel=canonical, внутренней перелинковкой и 301-редиректами.
Правило приоритизации фиксов индексации:
priority = (impressions_28d × 0.4) + (internal_links × 0.3) + (business_value × 0.3)
где impressions_28d — показы URL в GSC Performance за 28 дней (нормировать по максимуму), internal_links — число внутренних ссылок на URL, business_value — ручная оценка 0–1 (деньги/лиды).
Фиксим сверху вниз: сначала URL со статусом 'Crawled — currently not indexed' и высоким priority, затем 'Discovered', затем технические ошибки (5xx, soft 404).
Проверка canonical-конфликта:
if user_declared_canonical != google_selected_canonical:
flag_for_manual_review(url)
6. Типичные ошибки при оптимизации
- Считать статус sitemap 'Success' доказательством индексации: карта лишь прочитана, а URL могут висеть в 'Discovered — currently not indexed' месяцами.
- Игнорировать 'Crawled — currently not indexed' как «норму»: обычно это сигнал о тонком контенте, дублях или перегруженном crawl budget, а не о капризах Google.
- Ориентироваться на средние значения CWV вместо 75-го перцентиля CrUX: среднее сглаживает хвост медленных устройств, и сайт выглядит здоровее, чем его видит пользователь.
