
В случае отсутствия в robots.txt данной директивы или если на сайте нет файла robots.txt, то минимальная пауза между загрузками страниц роботами составляет 2 секунды. Как считают специалисты из Яндекс, такая пауза не создаст дополнительной нагрузки на сервер и позволит паукам РСЯ сканировать средний по объему сайт за сутки. Если у вас крупный портал, то необходимо установить чуть большую задержку 4-5 сек., это позволит не перегружать сервер или хостинг запросами роботов. Однако следует помнить, что очень большая задержка может негативно сказаться на качестве рекламы и, как следствие, уменьшение вашего заработка.
Комментарии
-
Выгодно продай свой сайт
Продать сайт за 150 000 ₽? Легко!
-
Продвигай сайт автоматом
Автоматическое продвижение в ТОП 10
-
Заработок на ссылках
Купля-продажа эффективных ссылок