Наверно многим приходилось работать с файлом robots.txt , но мало кто знает о всех его возможностях. Сегодня мы расскажем, как с помощью одной директивы можно контролировать нагрузку от поисковых роботов.
Так как поисковый робот перебирает все разрешенные страницы непрерывно, то это может вызывать дополнительную нагрузку на веб-проект. Данный прием поможет и на хостинге, и на сервере (виртуальном, физическом).
Директива называется Crawl-delay . Она задает поисковому роботу (пауку) минимальный период времени (в секундах) между завершением загрузки одной страницы и началом загрузки следующей страницы.
Оптимальный вариант:
Crawl-delay: 10 (Добавьте эту строчку в файл robots.txt в папке с файлами вашего сайта)
Директива учитывается поисковой системой Yandex и еще некоторыми, кроме Google (он не учитывает такую директиву).