Robots.txt - текстовый файл, создаваемый большинством оптимизаторов в корневой директории сайта, содержащий правила
индексации страниц сайта для
поисковых роботов.
Файл robots.txt может содержать директивы User-agent, Allow, Disallow, Crawl-delay, Host (для Яндекс).