Чек-лист robots.txt перед выкладкой на прод

Короткий список проверок, которые стоит пройти перед каждой публикацией нового robots.txt. Пункты опираются на то, как Google читает файл.

Файл

• Файл лежит в корне хоста: https://site.ru/robots.txt. У каждого поддомена и протокола свой файл.
• Кодировка UTF-8, размер меньше 500 КиБ — дальше Google не читает.
• Это файл продакшена, а не стенда: в нём нет Disallow: / для всех.
• Сервер отдаёт 200. Ответ 5xx на robots.txt останавливает сканирование сайта на первые 12 часов.

Группы

• Понятно, какую группу выполняет Googlebot. Если есть User-agent: Googlebot, общая группа * к нему не применяется.
• Если отдельная группа нужна, в неё перенесены все общие правила, которые должны действовать и для Google.

Правила

• Для каждой пары Allow/Disallow ясно, какое длиннее: Google применяет самое длинное подходящее правило, при равной длине — Allow.
• Регистр путей совпадает с реальными адресами: /Catalog/ и /catalog/ — разные пути.
• $ стоит там, где адрес действительно должен заканчиваться, и не мешает адресам с параметрами.
• Нет расчёта на Crawl-delay, Host, Clean-param для Google — он их игнорирует.
• Страницы, которые нужно убрать из поиска, закрыты noindex, а не Disallow.

Контрольный список адресов

• 15–30 URL: главная, по одному адресу каждого шаблона, адрес с параметром, пагинация, служебные страницы.
• Все рабочие адреса — «разрешено», служебные — «закрыто». Проверено для Googlebot и для общей группы.

После выкладки

• В отчёте о файлах robots.txt новая версия — «Получено», ошибок нет.
• Для срочной правки запрошено повторное сканирование файла.
• Через несколько дней в «Индексировании страниц» нет роста причины «Доступ к URL заблокирован в файле robots.txt».

Пример разбора ошибки и порядок проверки — подробная инструкция. Проверить список адресов по черновику файла можно в бесплатных инструментах IndexFix Tools.