Генератор robots.txt

Как составить robots.txt?

Файл robots.txt является инструкцией для поискового робота о том, что запрещено индексировать, а что можно. Поэтому robots.txt обладает особой важностью в правильной индексации вашего сайта. Адрес расположения файла robots.txt выглядит так: http://site.ru/robots.txt, то есть он должен находиться в корневой папке сайта. Зачастую начинающие вебмастера пренебрегают этим файлом. Создают его неправильно, либо вообще не создают. Вместе с тем неправильный robots.txt может явиться причиной плохого понимания поисковым роботом содержимого вашего сайта, появления дублированного контента в индексной базе, и как следствие, худшее ранжирование.

С помощью нашего сервиса вы можете в автоматическом режиме сгенерировать или создать файл robots.txt для своего веб-ресурса. Укажите те разделы, которые вы хотите запретить, адрес карты сайта и главное зеркало (директива Host) для Яндекс. Управляйте поисковыми роботами, так как нужно вам! Создайте robots.txt прямо сейчас!

• Автоматическое
  создание robots.txt

• Указание
  запрещающих директив

• Указание хоста и
  sitemap.xml