Пользуясь специальной инструкцией Crawl-delay в файле robots.txt, веб-мастеры могут менять продолжительность перерывов, которые делает поисковый робот "Яндекса" между запросами к серверу. Это может оказаться полезным в том случае, если "паук" создает чрезмерную нагрузку на сайт, и его необходимо как-то "утихомирить".
Сайт переехал на новый домен rusdoc.kulichki.com на котором Вы найдете полные версии статей.
|
Логин
Не зарегистрировались? Вы можете сделать это, нажав здесь. Когда Вы зарегистрируетесь, Вы получите полный доступ ко всем разделам сайта.
