Перейти к содержимому

Robots.txt: настройка и проверка файла для сайта

Файл robots.txt содержит инструкции для поисковых роботов, которые сообщают, какие разделы сайта разрешено или не рекомендуется обходить. Он находится в корне домена и обычно доступен по адресу https://example.com/robots.txt.

Что делает robots.txt

Поисковые роботы читают этот файл перед обходом URL. С его помощью можно ограничить обход технических разделов, указать адрес XML-карты сайта и задать разные правила для разных роботов. Важно: robots.txt не является механизмом защиты. Запрещённый URL всё равно может появиться в поиске, если на него ссылаются другие страницы. Для закрытия конфиденциальных данных нужна авторизация или серверное ограничение доступа.

Основные директивы

  • User-agent — имя робота, к которому относится группа правил. Символ * означает всех роботов, которые поддерживают стандарт.
  • Disallow — путь, обход которого запрещается указанной группе.
  • Allow — разрешение на обход пути; может использоваться как более точное исключение из блокирующего правила у роботов, поддерживающих такую логику.
  • Sitemap — абсолютный URL XML-карты сайта.

Пример для WordPress

Ниже — отправная точка для обычного сайта WordPress. Перед применением проверьте свои URL, плагины, карту сайта и реальные требования проекта.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Замените example.com на свой домен. У Yoast SEO карта сайта обычно использует адрес /sitemap_index.xml, но перед добавлением директивы убедитесь, что именно этот адрес открывается на вашем сайте.

Опасная ошибка: закрыть весь сайт

Правило Disallow: / запрещает обход всех URL для соответствующей группы роботов. Оно может быть уместно для тестового сайта, но на работающем публичном проекте способно остановить обход страниц поисковиками. Не копируйте его в рабочий файл без ясной причины.

Где размещать файл

Файл должен находиться в корне конкретного хоста: например, https://example.com/robots.txt. Файл в каталоге /blog/ не управляет всем доменом. Для поддоменов правила задаются отдельно.

Как проверить robots.txt

  1. Откройте адрес https://ваш-домен/robots.txt в браузере.
  2. Убедитесь, что сервер возвращает файл, а не страницу ошибки или HTML сайта.
  3. Проверьте, нет ли общего правила Disallow: /, если сайт должен индексироваться.
  4. Убедитесь, что указанный Sitemap существует и доступен.
  5. Проверьте важные URL в инструментах веб-мастеров поисковых систем.

Частые ошибки

  • Случайно закрыт весь сайт директивой Disallow: /.
  • В адресе Sitemap указан неправильный домен или несуществующий путь.
  • Файл размещён не в корне нужного хоста.
  • Правила скопированы с другого сайта и блокируют нужные каталоги.
  • Ожидается, что robots.txt скроет личные или служебные данные. Он этого не обеспечивает.

Проверка на DimLife

Для первичной проверки откройте robots.txt сайта DimLife. Для проверки доступности страниц и заголовков используйте также HTTP Headers, а для анализа DNS — DNS Lookup.

Изменяйте robots.txt осторожно: сохраните копию исходного файла, внесите небольшое изменение и после публикации повторно проверьте важные URL. Корректный синтаксис ещё не означает, что выбранная стратегия обхода подходит сайту.