Как проверить индексацию сайта в Яндексе и Google пошагово

Как понять, что страница действительно проиндексирована?

Чем индекс отличается от обхода?

Обход означает, что робот запросил страницу и прочитал ответ сервера. Индексация — следующий результат: поисковая система решила сохранить документ в своей базе и может рассматривать его для показа. URL может быть обойден, но не попасть в индекс из-за noindex, дубля, ошибки, низкой ценности или выбранной поисковиком другой канонической страницы.

Поэтому команда site:example.ru/page полезна только как быстрая подсказка. Она не показывает полный статус, не объясняет причину исключения и иногда обновляется с задержкой. Для точной проверки индексации сайта использую Яндекс.Вебмастер и Google Search Console.

Какие признаки дают только предварительный ответ?

Поиск по точному URL, оператор site:, наличие страницы в Sitemap и ссылка с другой страницы подтверждают, что URL известен или может быть найден. Но ни один из этих признаков сам по себе не гарантирует, что документ участвует в выдаче. Даже строка «URL отправлен в sitemap» означает лишь передачу адреса роботу.

Если нужна проверка индексации сайта для отчёта клиенту, фиксирую дату, URL, поисковую систему, статус, причину и следующее действие. Скриншот без даты слабее таблицы с историей: через неделю будет понятно, изменилось ли состояние.

Проверка индексации сайта нужна не только после запуска. Я возвращаюсь к ней после смены CMS, обновления шаблона, внедрения фильтров, настройки мультирегиональности и массовой публикации статей. В каждом случае проверка индексации сайта отвечает на свой вопрос: дошёл ли робот, прочитал ли новый HTML, не появился ли дубль и сохранился ли прежний canonical.

Удобно разделять статусы на три группы. «Всё работает» — URL доступен и присутствует в индексе. «Нужна диагностика» — URL известен, но исключён или ещё не обработан. «Намеренное исключение» — служебная страница, фильтр или тестовый адрес закрыты осознанно. Такая проверка индексации сайта не превращается в погоню за максимальным числом страниц.

С чего начать проверку индексации сайта?

Какие доступы и данные подготовить?

Мне нужны права владельца или подтверждённого пользователя в Яндекс.Вебмастере и Google Search Console, список приоритетных URL, файл Sitemap, robots.txt и данные аналитики. Если сайт недавно переезжал, добавляю старые адреса, карту редиректов и дату запуска новой версии.

Для первичного среза беру не случайные страницы, а выборку из пяти групп: главная, коммерческие услуги, категории или карточки, новые статьи и URL, которые потеряли трафик. Десять страниц обычно достаточно, чтобы увидеть системную проблему, но для магазина выборка должна включать разные шаблоны.

Как составить рабочую выборку URL?

1. Выберите 3–5 страниц, которые приносят заявки или продажи.
2. Добавьте 3–5 новых URL, опубликованных за последние 30 дней.
3. Возьмите 3 страницы с падением показов или кликов.
4. Проверьте главную, Sitemap и одну страницу, которая закрыта от индекса намеренно.

Так проверка индексации сайта показывает не только «работает ли инструмент», но и разницу между типами страниц. Если услуги в индексе, а статьи нет, причина может быть в шаблоне публикации. Если не видны все URL, вероятнее проблема в robots.txt, сервере, хостинге или настройках CMS.

Для проекта с несколькими регионами добавьте город и шаблон URL. Проверка индексации сайта по адресу /uslugi/seo ничего не скажет о странице /moskva/seo, если у них разные canonical и разные условия. Проверка индексации сайта для магазина должна учитывать ещё наличие товара, цену, остатки и уникальность описания.

Если доступа к панелям пока нет, начните с технического минимума: запросите заголовки ответа, откройте robots.txt, посмотрите исходный HTML и найдите ссылки на URL. Но не называйте такой результат полноценным аудитом. Браузер видит страницу глазами пользователя, а поисковый робот может получить другой ответ, другой контент или запрет.

Как проверить URL в Яндекс.Вебмастере?

Что показывает инструмент «Проверка страницы»?

Откройте нужный сайт в Яндекс.Вебмастере и перейдите в «Индексирование → Проверка страницы». Вставьте полный URL, выберите тип устройства и запустите проверку. В справке Яндекса указано, что инструмент помогает увидеть код ответа, доступность содержимого для робота, статус страницы и результат для мобильного устройства.

Если страница зависит от JavaScript, отдельно смотрю режим «Индексирование → Рендеринг страниц JavaScript». Пустой HTML до выполнения скриптов и полноценный контент после рендеринга — разные сценарии. Робот может получить 200 OK, но не увидеть текст, ссылки или товары, которые появляются только после ошибки фронтенда.

Как читать результат проверки в Яндексе?

1. Проверьте код ответа: рабочая страница обычно возвращает 200 OK.
2. Посмотрите, нет ли запрета в robots.txt и meta robots.
3. Сверьте статус страницы: в поиске, исключена, ещё не обработана или недоступна.
4. Сравните canonical и фактический URL, особенно после редизайна.
5. Для мобильной версии проверьте, не ломается ли шаблон и контент.

Официальная инструкция Яндекс.Вебмастера по проверке страницы предупреждает: при проверке можно выбрать робота, чтобы понять, имеет ли он доступ к URL. Это полезно, когда браузер владельца открывает страницу, а поисковый робот получает 403, 5xx или другой ответ.

В этом кейсе проверка индексации сайта заняла меньше часа, а исправление — один релиз. Но результат появился не в момент снятия noindex: роботу понадобилось снова посетить URL, обработать шаблон и обновить данные. Если после проверки индексации сайта сразу обещают результат за несколько минут, это маркетинговая формулировка, а не технический прогноз.

После исправления я проверяю не только одну страницу из примера. Беру ещё два URL того же шаблона, потому что ошибка могла быть общей для категории. Такой контроль экономит время: одна проверка индексации сайта по образцу показывает, исправлен ли шаблон, а не только конкретная запись в CMS.

Как проверить URL в Google Search Console?

Как использовать URL Inspection?

Откройте ресурс в Google Search Console и вставьте полный URL в верхнюю строку. Инструмент URL Inspection показывает сведения о версии страницы в индексе Google, текущий статус, возможность индексирования, выбранный canonical и часть данных о рендеринге. Это основной способ проверить индексацию сайта в Google точечно.

Не смешивайте две проверки. «Проиндексированная версия» отвечает, что Google знает о последнем обработанном варианте. «Проверка опубликованной страницы» запускает тест живого URL прямо сейчас. Живая страница может быть доступна, а старая версия в индексе ещё содержать noindex, старый canonical или прежний текст.

Что делать, если Google показывает ошибку?

1. Откройте блок «Индексирование» и прочитайте статус, а не только общий красный цвет.
2. Сверьте «Сканирование разрешено?» и «Индексирование разрешено?».
3. Проверьте, какой canonical выбрал Google и не считает ли URL копией.
4. Откройте просмотр отрисованной страницы, если контент формируется JavaScript.
5. После исправления нажмите запрос индексации, но не отправляйте один URL десятки раз.

В официальной справке Google об инструменте проверки URL отдельно сказано, что URL Inspection не показывает все проблемы качества, безопасности и ручных мер. Поэтому проверка индексации сайта в Google должна включать ещё отчёты «Индексирование страниц», «Меры, принятые вручную» и «Проблемы безопасности».

В Google полезно разделять «URL неизвестен» и «URL известен, но не проиндексирован». В первом случае усиливаю обнаружение: добавляю внутреннюю ссылку, проверяю Sitemap и доступ робота. Во втором разбираю причину исключения: дубль, canonical, качество, очередь обработки или техническую ошибку. Проверка индексации сайта становится точной, когда каждое состояние ведёт к отдельному действию.

При JavaScript-проекте сохраняю результат теста live URL и смотрю отрисованный HTML. Проверка индексации сайта без этого шага может показать «страница доступна», хотя поисковик не видит карточки товаров или текст услуги. Особенно часто это встречается у SPA, бесконечной прокрутки и каталогов, которые получают данные только после запроса к API.

Почему страница не попадает в индекс?

Какие причины встречаются чаще всего?

Причина обычно лежит в одной из пяти зон: робот не может получить страницу, ему запрещён обход, ему запрещено индексирование, URL признан дублем или документ не даёт самостоятельной ценности. Владелец часто видит только последний симптом — «страницы нет в поиске» — и сразу переписывает текст. Это не всегда помогает.

• HTTP 5xx, таймаут, нестабильный хостинг или защита, блокирующая робота;
• Disallow в robots.txt, meta robots noindex или заголовок X-Robots-Tag;
• canonical указывает на другой URL, страница является копией;
• пустой шаблон, ошибка JavaScript, скрытый контент или неработающая пагинация;
• новый URL ещё не обойден, Sitemap недоступен или внутренние ссылки отсутствуют;
• тонкий, повторяющийся или неуместный контент, который не отвечает на запрос.

Почему статус «обнаружено, не проиндексировано» не равен штрафу?

Такой статус означает, что Google знает URL, но ещё не включил его в индекс. Это может быть временной задержкой, ограничением обхода, очередью обработки, дублем или оценкой качества. На небольшом новом сайте разумно проверить доступность, внутренние ссылки, Sitemap и содержание, а затем наблюдать динамику 7–14 дней.

В Яндексе похожая ситуация может отображаться в отчётах обхода и исключённых страниц. Не нужно отправлять один и тот же адрес каждые пять минут. Лучше устранить причину, проверить живой URL, добавить естественную ссылку с сильной страницы и только после этого запросить переобход.

Как отличить техническую блокировку от проблем контента?

Что означают коды 200, 301, 404 и 5xx?

Как проверить robots.txt, canonical и рендеринг?

Открываю https://site.ru/robots.txt напрямую и ищу запреты для нужного робота. Затем смотрю исходный HTML, мета-тег robots, HTTP-заголовки, canonical и финальный DOM после выполнения скриптов. Проверяю, что важный текст, ссылки, товары и заголовки не появляются только после неудачного запроса к API.

Код 200 — начало диагностики, а не её конец. Страница может возвращать 200 и показывать роботу «мягкую 404», пустой каталог или одинаковый текст на сотне региональных адресов. Поэтому сравниваю ответ сервера с задачей страницы и с тем, что реально видит пользователь.

Как проверить индексацию всего сайта, а не одной страницы?

Как читать отчёты по страницам и обходу?

Для Google открываю отчёт об индексировании страниц. Он группирует известные URL по статусам и причинам: проиндексировано, исключено, ошибка сервера, заблокировано robots.txt, noindex, дубль, найдено, но не проиндексировано. Выбираю строку причины и смотрю примеры URL, а не исправляю весь сайт по одному скриншоту.

В Яндекс.Вебмастере проверяю «Индексирование → Страницы в поиске», «Статистику обхода», ошибки и Sitemap. Официальная справка о файлах Sitemap говорит, что этот файл сообщает Яндексу об актуальной структуре сайта, а уже известные страницы можно анализировать в статистике обхода.

Как собрать массовую проверку без ручного хаоса?

1. Выгрузите все URL из CMS, Sitemap и аналитики в одну таблицу.
2. Сопоставьте адреса по canonical и удалите очевидные параметры.
3. Разбейте строки по шаблонам: услуги, категории, карточки, статьи, регионы.
4. Для каждой группы проверьте 5–10 URL в обоих инструментах.
5. Отдельно посчитайте страницы с трафиком, но без индекса, и страницы в индексе без трафика.

Такая матрица показывает масштаб проблемы. Например, если 80% карточек магазина не индексируются, это задача шаблона или фасетной навигации. Если проблема только у трёх статей, ищу ошибку публикации или слабое соответствие интенту.

После редизайна проверка индексации сайта должна идти по старым и новым URL одновременно. Старый адрес отвечает на вопрос о сохранности редиректа, новый — о доступности и canonical. Если проверить только новую страницу, можно не заметить, что часть внешних ссылок и внутренних переходов всё ещё ведёт на 404.

Для крупного проекта делаю контрольную таблицу с колонками «старый URL», «новый URL», «код ответа», «canonical», «статус Яндекса», «статус Google», «дата проверки» и «ответственный». Проверка индексации сайта в таком виде становится задачей команды, а не разовым поиском проблем в интерфейсе.

Как отправить страницу на переобход и сколько ждать?

Когда нужен запрос индексации?

Запрос переобхода уместен после исправления ошибки, публикации важной страницы, изменения canonical, переезда URL или обновления критичного контента. Он не заменяет доступность, внутренние ссылки и Sitemap. Если сервер отдаёт 500 или страница закрыта noindex, повторная отправка не исправит причину.

В Google используйте URL Inspection и кнопку запроса индексирования после проверки опубликованной страницы. В Яндексе используйте инструмент переобхода и отправку Sitemap по назначению. Лимиты и сроки зависят от сайта и сервиса, поэтому я не обещаю точный час попадания в индекс.

Сколько ждать после исправлений?

Для одного небольшого URL первые изменения иногда видны за несколько дней, но рабочий диапазон для контроля — 7–14 дней. После крупной миграции смотрю динамику 2–4 недели, а Sitemap в Яндекс.Вебмастере может обновляться дольше: в официальной справке указано, что после изменения файла информация может обновляться до двух недель.

Если через 14 дней статус не изменился, не отправляю URL снова вслепую. Проверяю логи, доступ робота, ответ сервера, canonical, качество страницы, внутренние ссылки и конкурирующий URL. Иногда проблема не в скорости обхода, а в том, что поисковая система выбрала другую страницу для той же задачи.

Как контролировать индексацию после изменений?

Какие метрики смотреть каждую неделю?

Я разделяю контроль на технический и бизнесовый. В техническом отчёте смотрю количество проиндексированных URL, ошибки 4xx и 5xx, долю страниц с canonical, состояние Sitemap, новые исключения и время последнего обхода. В бизнесовом — показы, клики, среднюю позицию, CTR, входы на посадочные и заявки.

Search Console объясняет, какие URL Google знает и почему часть из них не индексируется. Яндекс.Вебмастер показывает состояние обхода, страницы в поиске и сообщения по сайту. Отдельно проверяю логи сервера: робот мог посещать URL, который интерфейс ещё не сгруппировал в отчёте.

Как понять, что исправление дало результат?

Сравните контрольную группу до и после. Например, было 120 URL в Sitemap, 74 в индексе и 9 заявок. Через 30 дней после исправлений стало 116 рабочих URL в индексе и 13 заявок. Нельзя приписывать весь рост одной директиве, но можно увидеть, что техническая проблема перестала ограничивать кластер.

В исследовании SISTRIX на более чем 80 млн ключевых слов средняя CTR позиции 1 составила 28,5%, позиции 3 — 11%, позиции 10 — 2,5%. Эти цифры не являются прогнозом, но объясняют, почему после возврата страницы в индекс нужно смотреть не только факт присутствия, но и позицию, сниппет и интент. Сверяю динамику с собственными данными Search Console, а не с чужой средней.

Какие ошибки чаще всего сливают трафик?

Почему проверяют только оператором site?

Оператор site: удобен для быстрой оценки, но не показывает полную картину, дату обхода, canonical и причину исключения. По нему нельзя надёжно посчитать долю индексируемых URL. Используйте его как дополнительный сигнал, а основную проверку проводите в панелях поисковых систем.

Какие действия создают ложное чувство контроля?

• Отправлять один URL на переобход каждый час.
• Добавлять в Sitemap все параметры, фильтры и страницы с 404.
• Закрывать robots.txt целый раздел, не проверив, какие важные URL там находятся.
• Удалять страницу, когда проблема была в canonical или шаблоне noindex.
• Оценивать результат только по числу страниц в индексе, забывая о трафике и заявках.

Главная ошибка — лечить симптом без гипотезы. Если URL закрыт от обхода, исправляйте доступ. Если он обойдён, но исключён как дубль, работайте с canonical и структурой. Если всё технически чисто, смотрите интент, уникальность, полноту ответа и коммерческую ценность.

Что учитывать для Алисы AI и Google AI Overviews?

Нейроответ не отменяет обычную индексацию. В официальной справке Яндекса об ЭПОС и ответах Алисы AI указано, что генеративные ответы строятся с опорой на результаты поиска. Поэтому сначала обеспечьте доступность, релевантность, экспертность, полезность, оригинальность и содержательность страницы, а уже потом думайте о цитировании.

Что делать дальше, если страницы нет в поиске?

План на первые 30 минут

1. Проверьте URL в Яндекс.Вебмастере и Google Search Console.
2. Запишите HTTP-код, запреты, canonical, статус и дату последнего обхода.
3. Сравните живую страницу с исходным HTML и мобильной версией.

План на 1–2 дня

1. Исправьте одну подтверждённую причину, а не несколько директив сразу.
2. Добавьте естественную внутреннюю ссылку и обновите Sitemap.
3. Проверьте URL в режиме live и запросите переобход.

План на 7–30 дней

1. Проверьте статус через 3, 7 и 14 дней.
2. Сравните индекс, показы, клики, позиции и заявки с точкой старта.
3. Если статус не меняется, подключите логи сервера и полный технический аудит.