Robots.txt - управление поисковыми ботами

Материал из Wiki - Iphoster - the best ever hosting and support. 2005 - 2023
Перейти к:навигация, поиск

Robots.txt - файл для управления поисковыми ботами.


Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.

robots.txt:

User-agent: *
Disallow: /   
User-agent: Yandex Crawl-delay: 4 Disallow:
User-agent: Googlebot Crawl-delay: 4 Disallow:
User-agent: StackRambler Crawl-delay: 4 Disallow:


Для MJ12bot бота:

User-Agent: MJ12bot
Crawl-Delay: 10

Для yandex - не актуально с February 22, 2018

В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование
Индекс цитирования