Для того чтобы запретить поисковым роботам индексировать определенные страницы или весь сайт, можно использовать в файле Robots.txt следующие директивы:
Для запрета индексации всего сайта нужно прописать «User-agent: *» и указать «Disallow: /». Таким образом, весь сайт будет запрещен для индексации поисковыми роботами. Например:
User-agent: *
Disallow: /
Для запрета отдельных страниц нужно указать соответствующий путь к ним в директиве «Disallow». Например, чтобы запретить индексацию страницы «test-page.html», нужно добавить следующую директиву:
User-agent: *
Disallow: /test-page.html
Если хотите закрыть целый раздел, нужно указать:
User-agent: *
Disallow: /test-directory/
Чтобы закрыть страницы или разделы только для конкретного поискового робота — укажите его имя в директиве «User-agent» и путь к странице или разделу в директиве «Disallow». Например, чтобы запретить индексацию страницы «test-page.html» только для поискового робота Googlebot, нужно прописать:
User-agent: Googlebot
Disallow: /test-page.html
Чтобы закрыть нескольких страниц или директорий, нужно указать их пути в нескольких директивах «Disallow». Например:
User-agent: *
Disallow: /test-page.html
Disallow: /test-directory/
Важно понимать, что файл Robots.txt не является абсолютной гарантией того, что поисковые роботы не будут индексировать запрещенные страницы или сайт. Некоторые роботы могут проигнорировать эти инструкции. Поэтому для более надежной защиты страниц и сайта от индексации рекомендуется использовать дополнительные методы, такие как метатег «noindex» или файл «robots meta».
