Файл robots.txt содержит инструкции для поисковых роботов, которые сообщают, какие разделы сайта разрешено или не рекомендуется обходить. Он находится в корне домена и обычно доступен по адресу https://example.com/robots.txt.
Что делает robots.txt
Поисковые роботы читают этот файл перед обходом URL. С его помощью можно ограничить обход технических разделов, указать адрес XML-карты сайта и задать разные правила для разных роботов. Важно: robots.txt не является механизмом защиты. Запрещённый URL всё равно может появиться в поиске, если на него ссылаются другие страницы. Для закрытия конфиденциальных данных нужна авторизация или серверное ограничение доступа.
Основные директивы
User-agent— имя робота, к которому относится группа правил. Символ*означает всех роботов, которые поддерживают стандарт.Disallow— путь, обход которого запрещается указанной группе.Allow— разрешение на обход пути; может использоваться как более точное исключение из блокирующего правила у роботов, поддерживающих такую логику.Sitemap— абсолютный URL XML-карты сайта.
Пример для WordPress
Ниже — отправная точка для обычного сайта WordPress. Перед применением проверьте свои URL, плагины, карту сайта и реальные требования проекта.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml
Замените example.com на свой домен. У Yoast SEO карта сайта обычно использует адрес /sitemap_index.xml, но перед добавлением директивы убедитесь, что именно этот адрес открывается на вашем сайте.
Опасная ошибка: закрыть весь сайт
Правило Disallow: / запрещает обход всех URL для соответствующей группы роботов. Оно может быть уместно для тестового сайта, но на работающем публичном проекте способно остановить обход страниц поисковиками. Не копируйте его в рабочий файл без ясной причины.
Где размещать файл
Файл должен находиться в корне конкретного хоста: например, https://example.com/robots.txt. Файл в каталоге /blog/ не управляет всем доменом. Для поддоменов правила задаются отдельно.
Как проверить robots.txt
- Откройте адрес
https://ваш-домен/robots.txtв браузере. - Убедитесь, что сервер возвращает файл, а не страницу ошибки или HTML сайта.
- Проверьте, нет ли общего правила
Disallow: /, если сайт должен индексироваться. - Убедитесь, что указанный Sitemap существует и доступен.
- Проверьте важные URL в инструментах веб-мастеров поисковых систем.
Частые ошибки
- Случайно закрыт весь сайт директивой
Disallow: /. - В адресе Sitemap указан неправильный домен или несуществующий путь.
- Файл размещён не в корне нужного хоста.
- Правила скопированы с другого сайта и блокируют нужные каталоги.
- Ожидается, что robots.txt скроет личные или служебные данные. Он этого не обеспечивает.
Проверка на DimLife
Для первичной проверки откройте robots.txt сайта DimLife. Для проверки доступности страниц и заголовков используйте также HTTP Headers, а для анализа DNS — DNS Lookup.
Изменяйте robots.txt осторожно: сохраните копию исходного файла, внесите небольшое изменение и после публикации повторно проверьте важные URL. Корректный синтаксис ещё не означает, что выбранная стратегия обхода подходит сайту.
