Crawl-delay для робота РСЯ

В случае отсутствия в robots.txt данной директивы или если на сайте нет файла robots.txt, то минимальная пауза между загрузками страниц роботами составляет 2 секунды. Как считают специалисты из Яндекс, такая пауза не создаст дополнительной нагрузки на сервер и позволит паукам РСЯ сканировать средний по объему сайт за сутки. Если у вас крупный портал, то необходимо установить чуть большую задержку 4-5 сек., это позволит не перегружать сервер или хостинг запросами роботов. Однако следует помнить, что очень большая задержка может негативно сказаться на качестве рекламы и, как следствие, уменьшение вашего заработка.