Анализ сайта, проверка тиц, счетчик тиц и pr

Crawl-delay для робота РСЯ

Дата: 28 июня 2010 | Просмотров: 2290
Рейтинг: 
Повысить 0 Понизить
 
 
 
Теперь в Рекламной сети Яндекса (РСЯ) можно управлять задержкой по скорости обхода сайта пауками РСЯ. Делается это при помощи директивы Crawl-delay, находящаяся в файле robots.txt.

В случае отсутствия в robots.txt данной директивы или если на сайте нет файла robots.txt, то минимальная пауза между загрузками страниц роботами составляет 2 секунды. Как считают специалисты из Яндекс, такая пауза не создаст дополнительной нагрузки на сервер и позволит паукам РСЯ сканировать средний по объему сайт за сутки. Если у вас крупный портал, то необходимо установить чуть большую задержку 4-5 сек., это позволит не перегружать сервер или хостинг запросами роботов. Однако следует помнить, что очень большая задержка может негативно сказаться на качестве рекламы и, как следствие, уменьшение вашего заработка.
 
 

SEO инструменты

  Whois сервис     Узнать тИЦ     Анализ контента страницы     Узнать свой IP


Полезные ресурсы
Выгодно продай свой сайт!
Продать сайт за 50 000 руб? Легко!
Создать сайт бесплатно
Сайт за 5 минут - это реально с конструктором Wix
Сейчас "рулят" вечные ссылки
Купля-продажа ссылок "навсегда"
Заработай на статьях
Размещение и покупка качественных статей

Популярные статьи Последние новости
» Топ 5 бесплатных онлайн сервисов для анализа скорости с ...
» Подбор ключевых слов: инструкции, инструменты и практич ...
» Ускорение индексации групп Вконтакте в Яндексе
» Продвижение сайтов статьями - обзор биржи WebArtex
» Основные способы продвижения сайта
» Sape.Wizard – разрушитель мифов о сервисах автоматическ ...
» О поисковом продвижении молодых сайтов
» Стартовал сбор заявок на бесплатное летнее обучение в четырех школах о…
» Google добавил новый алгоритм борьбы со ссылками низкого качества
» HP ProLiant ML150 Gen9 – один из самых удачных вариантов серверного об…
» Старт народного голосования в конкурсе «Рейтинг Рунета-2017»
» Для большей части населения планеты интернет недоступен
» Что такое краулинговый бюджет в Google?
» Новый законопроект, регулирующий деятельность аудиовизуальных сервисов
» Интернет-страницы с межстраничной рекламой попали под «санкции» в моби…
» О блокировке LinkedIn Роскомнадзором
» Новая версия Google Сайтов теперь доступна всем клиентам G Suite
Вход в аккаунт

Логин    
Пароль 


Апдейты
Яндекс тИЦ 24.03.2017
Яндекс выдача 24.03.2017
Яндекс Каталог 24.03.2017

Партнеры