+7 (978) 708-60-60TelegramMAX Начать продвижение
Запуск и диагностика

Как проверить, закрыта ли конкретная страница от индексации

Портрет Алексея Зотько
Автор статьиЗотько Алексей
Опубликовано

Страница может открываться в браузере, пока робот получает запрет или видит другой основной адрес. Проверим ответ сервера, robots.txt, noindex и canonical на одном URL и разберём, как подтвердить исправление.

Страница открыта для поиска?. Крупная карточка страницы за приоткрытыми воротами поискового робота

Посмотреть ответ сервера

Откройте страницу без входа и посмотрите код ответа. За успешной загрузкой в браузере иногда скрывается форма входа или текст «страница удалена». Для публичного материала нужны корректное содержимое и доступная конечная страница.

Сверить robots и meta robots

Посмотрите HTML и заголовки ответа. Директива noindex может находиться в meta robots или в X-Robots-Tag. Если адрес закрыт для обхода в robots.txt, поисковик может не прочитать размещённую на странице директиву. Проверять эти настройки следует вместе.

Три распространённые ситуации

НаблюдениеДействие
Ответ 404Восстановить страницу, если она нужна
Ответ 200 и noindexПроверить, должен ли шаблон скрывать запись
Ответ 200 и canonical на другую статьюСравнить содержание и выбор основной версии

Проверить выбранный canonical

Сверьте canonical и статус в кабинете поисковика. Если выбран другой основной адрес, поисковая система может показывать его. Зафиксируйте старое состояние, внесите одно исправление и повторите проверку после следующего обхода.

Признаки, которые нужно сверить отдельно

  • Фактический код ответа конечного URL.
  • Правила обхода и указания об индексировании.
  • Канонический адрес и дата последней проверки роботом.

Как проверить исправление

Проверьте тот же публичный URL в чистом окне и посмотрите исходный HTML и заголовки ответа. Затем сравните состояние с последней проверкой робота. Дата старого обхода объясняет, почему новые настройки уже доступны посетителю, а поисковый отчёт ещё показывает прежний результат.

Почему одного взгляда на robots.txt мало

Правило для робота может запрещать обход каталога. Директива noindex сообщает о запрете индексирования, когда робот может её прочитать. Canonical указывает предпочтительный вариант среди сходных URL. Это три разных сигнала. Если диагностируете конкретную статью, запишите вывод по каждому и дату, когда поисковая система последний раз видела страницу.

Комментарий автора

Вопросы и ответы

Достаточно снять запрет в robots.txt?

После открытия обхода проверьте, какой HTML и заголовки увидит робот. В них может сохраниться noindex.

Может ли посетитель увидеть страницу с noindex?

Да. Директива относится к индексированию, поэтому публичная страница может нормально открываться у читателя.

Где искать запрет кроме HTML?

Посмотрите HTTP-заголовки ответа, в частности X-Robots-Tag. Проверяйте конечный адрес после перенаправлений.

Равнозначны ли canonical и noindex?

Canonical сообщает предпочтительную версию похожих страниц. Noindex указывает, что страницу не следует включать в индекс.

Когда перепроверять результат в поисковой системе?

После исправления сначала убедитесь в правильном публичном ответе. Затем проверьте, был ли новый обход уже после изменения.

Как проверить страницу после серии перенаправлений?

Определите конечный адрес, его код ответа и директивы. Для важных старых ссылок проверьте также всю цепочку до назначения.

Источники и материалы

Читайте дальше