Наверно многим приходилось работать с файлом robots.txt , но мало кто знает о всех его возможностях. Сегодня мы расскажем, как с помощью одной директивы можно контролировать нагрузку от поисковых роботов.
Наверно многим приходилось работать с файлом robots.txt , но мало кто знает о всех его возможностях. Сегодня мы расскажем, как с помощью одной директивы можно контролировать нагрузку от поисковых роботов.