Robots.txt

10 июня 2010, 11:26
6132
0

Robots.txt - текстовый файл, создаваемый большинством оптимизаторов в корневой директории сайта, содержащий правила индексации страниц сайта для поисковых роботов. Файл robots.txt может содержать директивы User-agent, Allow, Disallow, Crawl-delay, Host (для Яндекс).

Комментарии

Для возможности добавления комментария, пожалуйста, авторизуйтесь.
Полезные сервисы