Robots.txt

10 июня 2010, 11:26
6469
0

Robots.txt - текстовый файл, создаваемый большинством оптимизаторов в корневой директории сайта, содержащий правила индексации страниц сайта для поисковых роботов. Файл robots.txt может содержать директивы User-agent, Allow, Disallow, Crawl-delay, Host (для Яндекс).

Полезные сервисы