В статье переставлен список ботов, которые могут просматривать ваш контент для обучения ИИ, например, для обучения моделей.
Как блокировать ботов
Список ботов
Список периодически обновляется.
Amazonbot
Amazonbot - это веб-краулер Amazon, используемый для улучшения сервисов Amazon, например, для того, чтобы Alexa могла отвечать вопросы. В целом абсолютно бесполезен, врядли принесет трафик.
| 1 | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
GoogleOther
GoogleOther - краулер Google и используемый для обучения ИИ.
| 1 2 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/125.0.6422.175 Safari/537.36 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.6422.175 Mobile Safari/537.36 (compatible; GoogleOther) |
GPTBot
| 1 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot) |
GPTBot - бот OpenIA используемый для обучения Chat GPT
Другие боты
Список "Плохих" ботов можно найти в соответствующей записи.