Crawl-delay для робота РСЯ

28 июн 2010, 16:29
2625
Теперь в Рекламной сети Яндекса (РСЯ) можно управлять задержкой по скорости обхода сайта пауками РСЯ. Делается это при помощи директивы Crawl-delay, находящаяся в файле robots.txt.

В случае отсутствия в robots.txt данной директивы или если на сайте нет файла robots.txt, то минимальная пауза между загрузками страниц роботами составляет 2 секунды. Как считают специалисты из Яндекс, такая пауза не создаст дополнительной нагрузки на сервер и позволит паукам РСЯ сканировать средний по объему сайт за сутки. Если у вас крупный портал, то необходимо установить чуть большую задержку 4-5 сек., это позволит не перегружать сервер или хостинг запросами роботов. Однако следует помнить, что очень большая задержка может негативно сказаться на качестве рекламы и, как следствие, уменьшение вашего заработка.

Комментарии

Полезные сервисы