Анализ сайта, проверка тиц, счетчик тиц и pr

Crawl-delay для робота РСЯ

Дата: 28 июня 2010 | Просмотров: 2403
Рейтинг: 
Повысить 0 Понизить
 
 
 
Теперь в Рекламной сети Яндекса (РСЯ) можно управлять задержкой по скорости обхода сайта пауками РСЯ. Делается это при помощи директивы Crawl-delay, находящаяся в файле robots.txt.

В случае отсутствия в robots.txt данной директивы или если на сайте нет файла robots.txt, то минимальная пауза между загрузками страниц роботами составляет 2 секунды. Как считают специалисты из Яндекс, такая пауза не создаст дополнительной нагрузки на сервер и позволит паукам РСЯ сканировать средний по объему сайт за сутки. Если у вас крупный портал, то необходимо установить чуть большую задержку 4-5 сек., это позволит не перегружать сервер или хостинг запросами роботов. Однако следует помнить, что очень большая задержка может негативно сказаться на качестве рекламы и, как следствие, уменьшение вашего заработка.
 
 

SEO инструменты

  Whois сервис     Узнать тИЦ     Анализ контента страницы     Узнать свой IP


Полезные ресурсы
Выгодно продай свой сайт!
Продать сайт за 50 000 руб? Легко!
Создать сайт бесплатно
Сайт за 5 минут - это реально с конструктором Wix
Сейчас "рулят" вечные ссылки
Купля-продажа ссылок "навсегда"
Заработай на статьях
Размещение и покупка качественных статей

Популярные статьи Последние новости
» Подбор ключевых слов: инструкции, инструменты и практич ...
» Топ 5 бесплатных онлайн сервисов для анализа скорости с ...
» Ускорение индексации групп Вконтакте в Яндексе
» Продвижение сайтов статьями - обзор биржи WebArtex
» Основные способы продвижения сайта
» Sape.Wizard – разрушитель мифов о сервисах автоматическ ...
» О поисковом продвижении молодых сайтов
» 5 полезных маркетинговых приемов, которые помогут увели ...
» SEO-специалист: с чего начать путь в этой профессии?
» Составляем SEO план продвижения веб-ресурса
» Основную часть фрода генерируют 3% ресурсов
» Яндекс тестирует "турбостраницы", а Google добавил поиск по …
» Дайджест в сфере высоких технологий и науки за 1-5 мая
» По данным Akamai скорость загрузки страницы влияет на конверсию
» В I квартале 2017 года выручка Яндекса и Google увеличилась
» Расширение функционала Telegram - функции видеосообщений и платежа
» Борьба с киберпреступностью и конструктор сайтов от Сбербанка
» Доходы операторов связи по рассылке SMS продолжают расти
» Обновленные инструменты статусов сайта от Яндекс и Google
» Индексация изображений 360° в Google
Вход в аккаунт

Логин    
Пароль 


Апдейты
Яндекс тИЦ 19.05.2017
Яндекс выдача 20.06.2017
Яндекс Каталог 21.06.2017

Партнеры