Файл robots.txt

Файл robots.txt является инструкцией для поискового робота о том, что запрещено индексировать, а что можно. Поэтому robots.txt обладает особой важностью в правильной индексации вашего сайта. Адрес расположения файла robots.txt выглядит так: http://site.ru/robots.txt, то есть он должен находиться в корневой папке сайта. Зачастую начинающие вебмастера пренебрегают этим файлом. Создают его неправильно, либо вообще не создают. Вместе с тем неправильный robots.txt может явиться причиной плохого понимания поисковым роботом содержимого вашего сайта, появления дублированного контента в индексной базе, и как следствие, худшее ранжирование.

С помощью нашего сервиса вы можете в автоматическом режиме сгенерировать или создать файл robots.txt для своего веб-ресурса. Укажите те разделы, которые вы хотите запретить, адрес карты сайта и главное зеркало (директива Host) для Яндекс. Управляйте поисковыми роботами, так как нужно вам! Создайте robots.txt прямо сейчас!

URL:
Полный запрет индексации?	Нет Да
Crawl-delay (директива задержки индексирования роботом в секундах)
Запреты для всех поисковых роботов
Запрет директорий (через запятую)
Запрет файлов (через запятую)
Запреты для картиночных ботов
Полный запрет индексации картинок?	Нет Да
Запрет директорий (через запятую)
Запреты программ скачивания сайтов
Запрет скачивания веб-ресурса:	Нет Да
Основной домен в robots.txt для Яндекс
Включить?	Нет Да
Основной домен
Адрес карты сайта (http://ваш_сайт.ру/sitemap.xml)