Robots.txt - управление поисковыми ботами: различия между версиями

Текущая версия на 12:54, 11 января 2023

Robots.txt - файл для управления поисковыми ботами.

Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.

robots.txt:

User-agent: *
Disallow: /   

User-agent: Yandex
Crawl-delay: 4
Disallow:    

User-agent: Googlebot
Crawl-delay: 4
Disallow:  

User-agent: StackRambler
Crawl-delay: 4
Disallow:

Для MJ12bot бота:

User-Agent: MJ12bot
Crawl-Delay: 10

Для yandex - не актуально с February 22, 2018

В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование

@@ Строка 2: / Строка 2: @@
-== Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.==
+==== Разрешить индексировать сайт только ботам Yandex, Google, Rambler с задержкой 4сек между опросами страниц.====
+'''robots.txt:'''
   User-agent: *
   Disallow: /   <br />
@@ Строка 16: / Строка 17: @@
---[[Участник:Admin iph|Admin iph]] 20:28, 6 февраля 2012 (MSK)
+Для MJ12bot бота:
+ User-Agent: MJ12bot
+ Crawl-Delay: 10
+Для yandex - не актуально с February 22, 2018
+ В Яндекс.Вебмастере появился новый инструмент — Скорость обхода, который находится в разделе Индексирование