Как проверить что определенные страницы сайта не видны поисковикам

Запрет для поисковых систем

Эта проверка нужна тогда, когда появляются, например, временные страницы на сайте или страницы, которые не должны быть видны поисковым системам.

открываем файл
robots.txt

Для этого в строке браузера пишем

my_website.com/robots.txt

Allow - это ссылки на страницы, которые разрешено отслеживать поисковым системам.

Disallow - запрещенные для поиска в поисковых системах старнички сайта.