Robots.txt - управление поисковыми ботами

Robots.txt - файл для управления поисковыми ботами.

Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.

User-agent: *
Disallow: /   

User-agent: Yandex
Crawl-delay: 4
Disallow:    

User-agent: Googlebot
Crawl-delay: 4
Disallow:  

User-agent: StackRambler
Crawl-delay: 4
Disallow: 

--Admin iph 20:28, 6 февраля 2012 (MSK)