Два служебных файла в корне сайта помогают поисковым роботам: один говорит, куда ходить нельзя, второй — какие страницы стоит обойти.
robots.txt
Это текстовый файл по адресу /robots.txt. В нём перечисляют правила для роботов: какие разделы закрыты от обхода, какие открыты, где лежит карта сайта.
Типичные закрытые разделы:
- админка и служебные адреса;
- результаты внутреннего поиска;
- страницы с параметрами, которые дублируют основные.
Важная оговорка: robots.txt управляет обходом, а не показом в поиске. Закрытую от обхода страницу поисковик иногда всё равно показывает по внешним ссылкам. Чтобы убрать страницу из выдачи, нужен мета-тег noindex или пароль.
sitemap.xml
Это карта сайта в формате XML: список адресов, которые нужно обойти, и необязательные данные о дате изменения. Она не гарантирует, что страница попадёт в индекс, но помогает роботу найти новые страницы быстрее.
Что должно быть в карте:
- только рабочие страницы с кодом ответа 200;
- адреса с тем же протоколом и доменом, что и основной сайт;
- не более 50 000 адресов в одном файле.
Частые ошибки
- случайно закрыт весь сайт правилом «Disallow: /»;
- в sitemap попали страницы, которые перенаправляют или отдают 404;
- в карте адреса с http, а сайт работает по https;
- не указан адрес карты в robots.txt.
Проверить оба файла можно прямо на сайте: инструменты проверки robots.txt и sitemap.xml читают файл, разбирают правила и показывают найденные проблемы.