Robots.txt

10 июн 2010, 11:26
3859

Robots.txt - текстовый файл, создаваемый большинством оптимизаторов в корневой директории сайта, содержащий правила индексации страниц сайта для поисковых роботов. Файл robots.txt может содержать директивы User-agent, Allow, Disallow, Crawl-delay, Host (для Яндекс).

Похожие статьи

Комментарии

Полезные сервисы