Мне трудно сказать Вам, сколько раз я отвечал на этот вопрос на форумах, так что я подумал, что это очень хороший материал для небольшой статьи.
Сначала давайте разберемся, о чем мы будет говорить. "Бот" - это часть программного обеспечения поискового сервера, который создан для того, чтобы пройти каждую страницу Вашего сайта, проиндексировать ее, и разместить это в базе данных.
У Google есть три известные бота: Adsensebot, Freshbot и DeepCrawl.
Adsensebot, как Вы могли предположить, используется для людей, которые имеют объявления от Adsense на своих сайтах. Как только появляется новая страница, JavaScript в пределах кода Adsense посылает сообщение Adsensebot, и он прибудет в течение 15 минут, чтобы проиндексировать страницу так, чтобы она могла выдавать самые актуальные и тематические объявления.
Но, в этой статье мы будет говорить только о DeepCrawl и Freshbot.
Freshbot ходит по самым популярным страницам на Вашем сайте. Не имеет значения, будь то одна страница или тысячи. Сайты подобно Amazon.com и CNN.com имеют страницы, которые обходятся ботом каждые десять минут, после того, как Google узнал, что эти страницы имеют определенное количество частых изменений. Типичный сайт должен ожидать посещение Freshbot каждые 1 - 14 дней, в зависимости от того, насколько популярны страницы.
Что случается с Вашим сайтом при посещении Freshbot? Все, даже очень глубокие, ссылки размещаются в базу данных так, чтобы, DeepCrawl смог проиндексировать весь сайт.
Один раз в месяц, DeepCrawl посещает Ваш сайт и пробегается через все ссылки, найденные Freshbot. Это причина, по которой может требоваться до месяца для полной индексации сайта.
Так будьте терпеливы, постоянно обновляйте содержание Вашего сайта и работайте над получением ценных внешних ссылок - Google вознаградит Вас за это.
Автор: Пол Блисс
Сайт автора: seo-stat.com
