Как закрыть от индексации страницы в robots.txt
Для того чтобы запретить поисковым роботам индексировать определенные страницы или весь сайт, можно использовать в файле Robots.txt следующие директивы: Для запрета индексации всего сайта нужно прописать “User-agent: *” и укЧитать далее…