Как проверить, закрыта ли конкретная страница от индексации

Страница может открываться в браузере, пока робот получает запрет или видит другой основной адрес. Проверим ответ сервера, robots.txt, noindex и canonical на одном URL и разберём, как подтвердить исправление.

Посмотреть ответ сервера
Откройте страницу без входа и посмотрите код ответа. За успешной загрузкой в браузере иногда скрывается форма входа или текст «страница удалена». Для публичного материала нужны корректное содержимое и доступная конечная страница.
Сверить robots и meta robots
Посмотрите HTML и заголовки ответа. Директива noindex может находиться в meta robots или в X-Robots-Tag. Если адрес закрыт для обхода в robots.txt, поисковик может не прочитать размещённую на странице директиву. Проверять эти настройки следует вместе.
Три распространённые ситуации
| Наблюдение | Действие |
|---|---|
| Ответ 404 | Восстановить страницу, если она нужна |
| Ответ 200 и noindex | Проверить, должен ли шаблон скрывать запись |
| Ответ 200 и canonical на другую статью | Сравнить содержание и выбор основной версии |
Проверить выбранный canonical
Сверьте canonical и статус в кабинете поисковика. Если выбран другой основной адрес, поисковая система может показывать его. Зафиксируйте старое состояние, внесите одно исправление и повторите проверку после следующего обхода.
Признаки, которые нужно сверить отдельно
- Фактический код ответа конечного URL.
- Правила обхода и указания об индексировании.
- Канонический адрес и дата последней проверки роботом.
Как проверить исправление
Проверьте тот же публичный URL в чистом окне и посмотрите исходный HTML и заголовки ответа. Затем сравните состояние с последней проверкой робота. Дата старого обхода объясняет, почему новые настройки уже доступны посетителю, а поисковый отчёт ещё показывает прежний результат.
Почему одного взгляда на robots.txt мало
Правило для робота может запрещать обход каталога. Директива noindex сообщает о запрете индексирования, когда робот может её прочитать. Canonical указывает предпочтительный вариант среди сходных URL. Это три разных сигнала. Если диагностируете конкретную статью, запишите вывод по каждому и дату, когда поисковая система последний раз видела страницу.
Комментарий автора
Вопросы и ответы
Достаточно снять запрет в robots.txt?
После открытия обхода проверьте, какой HTML и заголовки увидит робот. В них может сохраниться noindex.
Может ли посетитель увидеть страницу с noindex?
Да. Директива относится к индексированию, поэтому публичная страница может нормально открываться у читателя.
Где искать запрет кроме HTML?
Посмотрите HTTP-заголовки ответа, в частности X-Robots-Tag. Проверяйте конечный адрес после перенаправлений.
Равнозначны ли canonical и noindex?
Canonical сообщает предпочтительную версию похожих страниц. Noindex указывает, что страницу не следует включать в индекс.
Когда перепроверять результат в поисковой системе?
После исправления сначала убедитесь в правильном публичном ответе. Затем проверьте, был ли новый обход уже после изменения.
Как проверить страницу после серии перенаправлений?
Определите конечный адрес, его код ответа и директивы. Для важных старых ссылок проверьте также всю цепочку до назначения.