Robots.txt - управление поисковыми ботами: различия между версиями
Материал из Wiki - Iphoster - the best ever hosting and support. 2005 - 2024
Admin iph (обсуждение | вклад) |
Admin iph (обсуждение | вклад) |
||
| (не показана 1 промежуточная версия этого же участника) | |||
| Строка 17: | Строка 17: | ||
| − | -- | + | |
| + | Для MJ12bot бота: | ||
| + | User-Agent: MJ12bot | ||
| + | Crawl-Delay: 10 | ||
| + | |||
| + | Для yandex - не актуально с February 22, 2018 | ||
| + | В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование | ||
Текущая версия на 12:54, 11 января 2023
Robots.txt - файл для управления поисковыми ботами.
Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.
robots.txt:
User-agent: * Disallow: /
User-agent: Yandex Crawl-delay: 4 Disallow:
User-agent: Googlebot Crawl-delay: 4 Disallow:
User-agent: StackRambler Crawl-delay: 4 Disallow:
Для MJ12bot бота:
User-Agent: MJ12bot Crawl-Delay: 10
Для yandex - не актуально с February 22, 2018
В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование
