Генератор robots.txt

Адрес сайта (без http://, только домен)
User-agent:
Disallow:
Host:
SiteMap:
Результат, содержимое файла robots.txt  

Как составить robots.txt?

Файл robots.txt является инструкцией для поискового робота о том, что запрещено индексировать, а что можно. Поэтому robots.txt обладает особой важностью в правильной индексации вашего сайта. Адрес расположения файла robots.txt выглядит так: http://site.ru/robots.txt, то есть он должен находиться в корневой папке сайта. Зачастую начинающие вебмастера пренебрегают этим файлом. Создают его неправильно, либо вообще не создают. Вместе с тем неправильный robots.txt может явиться причиной плохого понимания поисковым роботом содержимого вашего сайта, появления дублированного контента в индексной базе, и как следствие, худшее ранжирование.

С помощью нашего сервиса вы можете в автоматическом режиме сгенерировать или создать файл robots.txt для своего веб-ресурса. Укажите те разделы, которые вы хотите запретить, адрес карты сайта и главное зеркало (директива Host) для Яндекс. Управляйте поисковыми роботами, так как нужно вам! Создайте robots.txt прямо сейчас!

  • Автоматическое
    создание robots.txt

  • Указание
    запрещающих директив

  • Указание хоста и
    sitemap.xml

Полезные сервисы