Сокращение нагрузки от поисковых роботов

Настройка времени индексирования поискового робота

Наверно многим приходилось работать с файлом robots.txt , но мало кто знает о всех его возможностях. Сегодня мы расскажем, как с помощью одной директивы можно контролировать нагрузку от поисковых роботов.

Так как поисковый робот перебирает все разрешенные страницы непрерывно, то это может вызывать дополнительную нагрузку на веб-проект. Данный прием поможет и на хостинге, и на сервере (виртуальном, физическом).

Директива называется Crawl-delay . Она задает поисковому роботу (пауку) минимальный период времени (в секундах) между завершением загрузки одной страницы и началом загрузки следующей страницы.

Оптимальный вариант:

Crawl-delay: 10  (Добавьте эту строчку в файл robots.txt в папке с файлами вашего сайта)

Директива учитывается поисковой системой Yandex и еще некоторыми, кроме Google (он не учитывает такую директиву).

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *