Robots.txt - управление поисковыми ботами: различия между версиями
Материал из Wiki - Iphoster - the best ever hosting and support. 2005 - 2024
Admin iph (обсуждение | вклад) (Новая страница: «'''Robots.txt - файл для управления поисковыми ботами.''' == Разрешить индексировать сайт тольк...») |
Admin iph (обсуждение | вклад) |
||
| Строка 2: | Строка 2: | ||
| − | == Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.== | + | === Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.=== |
User-agent: * | User-agent: * | ||
Disallow: / <br /> | Disallow: / <br /> | ||
Версия 17:29, 6 февраля 2012
Robots.txt - файл для управления поисковыми ботами.
Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.
User-agent: * Disallow: /
User-agent: Yandex Crawl-delay: 4 Disallow:
User-agent: Googlebot Crawl-delay: 4 Disallow:
User-agent: StackRambler Crawl-delay: 4 Disallow:
--Admin iph 20:28, 6 февраля 2012 (MSK)
