Crawl-delay для робота РСЯ

28 июня 2010, 16:29
3077
0
Теперь в Рекламной сети Яндекса (РСЯ) можно управлять задержкой по скорости обхода сайта пауками РСЯ.

В случае отсутствия в robots.txt данной директивы или если на сайте нет файла robots.txt, то минимальная пауза между загрузками страниц роботами составляет 2 секунды. Как считают специалисты из Яндекс, такая пауза не создаст дополнительной нагрузки на сервер и позволит паукам РСЯ сканировать средний по объему сайт за сутки. Если у вас крупный портал, то необходимо установить чуть большую задержку 4-5 сек., это позволит не перегружать сервер или хостинг запросами роботов. Однако следует помнить, что очень большая задержка может негативно сказаться на качестве рекламы и, как следствие, уменьшение вашего заработка.

Комментарии

Для возможности добавления комментария, пожалуйста, авторизуйтесь.
Полезные сервисы