Партнёрка для владельцев сайтов
10 июня 2010, 11:26
6250
0
Robots.txt - текстовый файл, создаваемый большинством оптимизаторов в корневой директории сайта, содержащий правила индексации страниц сайта для поисковых роботов. Файл robots.txt может содержать директивы User-agent, Allow, Disallow, Crawl-delay, Host (для Яндекс).
Полезные сервисы
-
30% отчислений вам -
Заработок на ссылкахКупля-продажа эффективных ссылок
-
Биржа сайтов/каналов/группПродать сайт за 500 000 ₽? Легко!