Индексация в заданном ритме (Crawl-delay)
Снизить нагрузку на сервер и устранить проблему отключения сайта при его индексации, а также повысить корректность индексации можно с помощью «Crawl-delay» – директивы в файле robots.txt. Она позволяет задавать промежуток времени между закачками страниц с сервера, что стабилизирует работу ресурса в ходе множественных запросов на индексацию. В первую очередь, это актуально для больших сайтов и ресурсов с недостаточно качественным хостингом.
Файл robots.txt специально предназначен для управления индексацией. Он находится в корне сайта (adres_vashego_saita.ru/robots.txt) и читается роботом в первую очередь. Файл содержит в себе правила, регулирующие работу поисковых машин, например, там указываются страницы, не предназначенные для индексации (содержащие служебную информацию, дублированный или неуникальный контент). Иногда файл robots.txt отсутствует, в таком случае настоятельно рекомендуем создать его.
Руководствуясь «правилами поведения», описанными в файле, робот начинает закачку страниц Вашего сайта себе в базу, их индексацию и ранжирование, после чего пользователи могут найти ресурс по поисковым запросам. В ряде случаев (большое количество страниц сайта, слабый хостинг) частое обращение робота к серверу создает сильную нагрузку, в результате чего сайт временно перестает работать. Данную проблему и призвана решить директива «Crawl-delay», в которой можно попросить Яндекс «сделать перекур» между концом закачки одной страницы и началом следующей. Причем учитываются как целые, так и дробные значения. Например, чтобы задать тайм-аут в 6.5 секунд, нужно прописать:
User-agent: Yandex
Crawl-delay: 6.5
Это не означает, что робот будет качать страницы именно с периодичностью в 6.5 секунд, но задает минимальный промежуток времени между обращениями к серверу.
Так как директиву «понимают» не все поисковые роботы, ставить ее нужно в конце файла robots.txt после правила Disallow (либо Allow):
User-agent: *
Disallow: /about
Crawl-delay: 6.5
Директива дает в руки вебмастерам дополнительный инструмент повышения эффективности работы сайтов и улучшения их видимости в поисковых сервисах.
