Это статья с сайта Компьютерная документация и статьи о Windows. Оптимизация Windows.
http://rusdoc.kulichki.com

URL полной версии этой статьи:
http://rusdoc.kulichki.com/modules.php?name=News&file=article&sid=842
Как изменить скорость сканирования сайта роботом «Яндекса»
Дата: 25/07/2008
Тема: Вебмастеру


Пользуясь специальной инструкцией Crawl-delay в файле robots.txt, веб-мастеры могут менять продолжительность перерывов, которые делает поисковый робот "Яндекса" между запросами к серверу. Это может оказаться полезным в том случае, если "паук" создает чрезмерную нагрузку на сайт, и его необходимо как-то "утихомирить".

Сайт переехал на новый домен rusdoc.kulichki.com на котором Вы найдете полные версии статей.