Htaccess - как заблокировать ClaudeBot: различия между версиями

Материал из Wiki - Iphoster - the best ever hosting and support. 2005 - 2024
Перейти к:навигация, поиск
(Новая страница: «=== Htaccess - как заблокировать ClaudeBot === Пример user-agent в логах access nginx: "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like...»)
 
 
(не показаны 2 промежуточные версии этого же участника)
Строка 8: Строка 8:
 
Блокируем через .htaccess сайта
 
Блокируем через .htaccess сайта
 
  RewriteEngine On
 
  RewriteEngine On
  RewriteCond %{HTTP_USER_AGENT} (SemrushBot|AhrefsBot|MegaIndex.ru|Bytespider|Bytedance|YouBot|PetalBot|BackupLand|ImagesiftBot|keys-so-bot|ReactorNetty|Feedly|ClaudeBot|GPTBot) [NC]
+
  RewriteCond %{HTTP_USER_AGENT} (Amazonbot|facebookexternalhit|SemrushBot|AhrefsBot|MegaIndex.ru|Bytespider|Bytedance|YouBot|PetalBot|BackupLand|ImagesiftBot|keys-so-bot|ReactorNetty|Feedly|ClaudeBot|GPTBot) [NC]
 
  RewriteRule .* - [F,L]
 
  RewriteRule .* - [F,L]
  
Строка 14: Строка 14:
 
Что такое ClaudeBot:
 
Что такое ClaudeBot:
 
  ClaudeBot — это веб-сканер, управляемый Anthropic, который загружает обучающие данные для своих LLM (больших языковых моделей), которые используются в таких продуктах искусственного интеллекта, как Claude.
 
  ClaudeBot — это веб-сканер, управляемый Anthropic, который загружает обучающие данные для своих LLM (больших языковых моделей), которые используются в таких продуктах искусственного интеллекта, как Claude.
 +
facebookexternalhit - https://developers.facebook.com/docs/sharing/webmasters/crawler?locale=ru_RU
 +
Краулер Facebook выполняет скрапинг HTML-данных приложений или сайтов, опубликованных на Facebook путем копирования и вставки ссылки или с помощью социального плагина Facebook. Краулер собирает, кэширует и показывает информацию о сайте или приложении, в том числе название, описание и миниатюрное изображение.

Текущая версия на 20:18, 8 июля 2024

Htaccess - как заблокировать ClaudeBot

Пример user-agent в логах access nginx:

"Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])"


Блокируем через .htaccess сайта

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Amazonbot|facebookexternalhit|SemrushBot|AhrefsBot|MegaIndex.ru|Bytespider|Bytedance|YouBot|PetalBot|BackupLand|ImagesiftBot|keys-so-bot|ReactorNetty|Feedly|ClaudeBot|GPTBot) [NC]
RewriteRule .* - [F,L]


Что такое ClaudeBot:

ClaudeBot — это веб-сканер, управляемый Anthropic, который загружает обучающие данные для своих LLM (больших языковых моделей), которые используются в таких продуктах искусственного интеллекта, как Claude.
facebookexternalhit - https://developers.facebook.com/docs/sharing/webmasters/crawler?locale=ru_RU
Краулер Facebook выполняет скрапинг HTML-данных приложений или сайтов, опубликованных на Facebook путем копирования и вставки ссылки или с помощью социального плагина Facebook. Краулер собирает, кэширует и показывает информацию о сайте или приложении, в том числе название, описание и миниатюрное изображение.