Данная статья объяснит, как контролировать поведение
роботов и пауков на вашем узле. Веб-роботы - это программы, которые автоматически
проходят по всей гипертекстовой структуре, вызывая документ и рекурсивно
вызывая все документы, на которые он ссылается. Одной из
распространенных задач роботов является индексация узла.
Пауки - это программы, которые автоматически проходят
по всей гипертекстовой структуре, сохраняя ее на локальный диск
пользователя для дальнейшего оффлайнового просмотра. Принципиально они
ничем не отличаются от роботов.
Для краткости я буду называть роботов и пауков одним
словом - роботы.
Сайт переехал на новый домен rusdoc.kulichki.com на котором Вы найдете полные версии статей.
