Генератор robots.txt

Адрес сайта (с протоколом)
User-agent:
Disallow:
Host (основное зеркало):
Sitemap.xml:
Вставить комментарий Вставить пустую строку

Результат содержимого файла robots.txt

[выделить]

Об инструменте

Генератор robots.txt - это удобный онлайн-инструмент, который позволяет создать файл robots.txt с помощью выбора различных параметров.

Как составить robots.txt?

Для создания файла robots.txt необходимо выбрать следующие параметры:

  • Адрес сайта.

    Введите полный URL сайта, для которого нужно создать файл robots.txt.

  • User-agent.

    Выберите значение из списка: Все поисковые системы, Яндекс, Google, Bing и Mail.ru.

  • Disallow.

    Выберите стандартные запрещающие директории, такие как /cgi-bin, /wp-admin, и т.д., а также добавьте свои собственные запреты.

  • Host.

    Укажите основное зеркало для сайта. Подобный параметр поддерживает поисковая система Яндекс.

  • Sitemap.xml.

    Введите название имеющегося файла sitemap.xml и генератор сам пропишет к нему путь.

  • Комментарии.

    Вы можете вставить собственный комментарий или добавить новые строки.

После ввода всех параметров появляется готовый результат в текстовом поле. Полученный файл robots.txt готов к копированию и добавлению на сервер.

Применение генератора robots.txt

  • Управление индексацией.

    Создание файла robots.txt позволяет указать поисковым роботам, какие страницы сайта можно или нельзя индексировать.

  • Управление доступом.

    Вы можете использовать файл robots.txt, чтобы ограничить доступ к определённым разделам сайта для поисковых систем.

  • Основное зеркало.

    Указание основного зеркала и других параметров может помочь поисковым системам понять, как правильно индексировать сайт.

  • Создание карты сайта.

    Указание файла sitemap.xml поможет поисковым системам лучше понять структуру вашего сайта.

Вопросы и ответы

Какие страницы не нужно индексировать?

Страницы, которые не нужно индексировать, включают в себя:

  1. Пользовательские страницы: как личный кабинет, регистрация, авторизация, оформление заказа. Эти страницы могут бесполезны для продвижения, поскольку они обычно не являются источниками поискового трафика.
  2. Системные каталоги и файлы: такие как файлы администратора, временные файлы и другие системные страницы, которые не предназначены для публичной индексации.
  3. «Мусорные» страницы сайта: это включает в себя страницы с дублирующимся контентом, страницы с незначительным или устаревшим содержанием, или страницы без ценной информации для пользователей.
Как часто Google и Яндекс проверяет robots.txt?

Google сканирует файл robots.txt автоматически и обновляет кэшированную версию каждые 24 часа. Если вам нужно обновить кеш быстрее, вы можете воспользоваться функцией "Инструмент проверки URL" в Google Search Console и запросить сканирование заново, а в Яндекс.Вебмастере запрос переобхода вы найдёте в разделе "Переобход страниц".

Как загрузить файл robots.txt?

Чтобы загрузить файл robots.txt, поместите его в корневой каталог вашего сайта. Например, на сайте https://www.site.ru/ файл должен быть доступен по адресу https://www.site.ru/robots.txt и не должен находиться в подкаталогах (например, https://site.ru/pages/robots.txt).

Рекомендуемые инструменты

Полезные сервисы