Robots.txt - управление поисковыми ботами

Robots.txt - файл для управления поисковыми ботами.

Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.

robots.txt:

User-agent: *
Disallow: /   

User-agent: Yandex
Crawl-delay: 4
Disallow:    

User-agent: Googlebot
Crawl-delay: 4
Disallow:  

User-agent: StackRambler
Crawl-delay: 4
Disallow: 

Для MJ12bot бота:

User-Agent: MJ12bot
Crawl-Delay: 10