Два служебных файла в корне сайта помогают поисковым роботам: один говорит, куда ходить нельзя, второй — какие страницы стоит обойти.

robots.txt

Это текстовый файл по адресу /robots.txt. В нём перечисляют правила для роботов: какие разделы закрыты от обхода, какие открыты, где лежит карта сайта.

Типичные закрытые разделы:

  • админка и служебные адреса;
  • результаты внутреннего поиска;
  • страницы с параметрами, которые дублируют основные.

Важная оговорка: robots.txt управляет обходом, а не показом в поиске. Закрытую от обхода страницу поисковик иногда всё равно показывает по внешним ссылкам. Чтобы убрать страницу из выдачи, нужен мета-тег noindex или пароль.

sitemap.xml

Это карта сайта в формате XML: список адресов, которые нужно обойти, и необязательные данные о дате изменения. Она не гарантирует, что страница попадёт в индекс, но помогает роботу найти новые страницы быстрее.

Что должно быть в карте:

  • только рабочие страницы с кодом ответа 200;
  • адреса с тем же протоколом и доменом, что и основной сайт;
  • не более 50 000 адресов в одном файле.

Частые ошибки

  • случайно закрыт весь сайт правилом «Disallow: /»;
  • в sitemap попали страницы, которые перенаправляют или отдают 404;
  • в карте адреса с http, а сайт работает по https;
  • не указан адрес карты в robots.txt.

Проверить оба файла можно прямо на сайте: инструменты проверки robots.txt и sitemap.xml читают файл, разбирают правила и показывают найденные проблемы.

Посчитать самому