Robots.txt глазами Yandex

Когда поисковая система «знакомится» с сайтом, она первым делом ищет в его корневой директории текстовый файл robots.txt. Вебмастеры прописывают там инструкции к индексированию: указывают страницы или разделы, которые должны быть запрещены к индексированию, временной промежуток, рекомендуемый при скачивании документов с сервера, правильное отображение домена и т. д.

Вебмастер, который работает с сайтом для Рунета, создает robots.txt для Яндекса. Он должен надлежащим образом использовать директиву host этой поисковой системы, самой популярной на сегодняшний день в России, знать назначение и синтаксис файла.

Для проверки корректности robots.txt Яндекс предусмотрел сервис анализа файла, достаточно простой для понимания и предоставляющий точные данные.