Деятельность краулинг-ботов и ботов-пауков известных поисковых систем обычно не влияет на загрузку сайта и на скорость его работы. Но большая часть ботов не приносит пользы, более того, они вредят производительности сайта.
Например, боты типа DotBot или Semrush, посылали так много запросов на сайт, что это было похоже на эффект небольшой DDoS-атаки. Это приводило к сильной перегрузке сайта и сервера, и сайт становился недоступным для других посетителей.
Рекомендуется блокировать слишком активных ботов, если на вашем сайте более 100 страниц..
Блокирование вредоносных ботов с использованием файла .htacces для серверов Apache.
Как заблокировать бота Baidu
| 1 2 3 4 5 6 | Добавьте этот код в конец файла .htaccess: # block baidu bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} baidu [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать AhrefsBot
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block AhrefsBot bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать MJ12bot
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block MJ12bot bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Detectify
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block detectify bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} Detectify [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота DuckDuckGo
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block DuckDuckGo bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} DuckDuckGo [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Semrush
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Semrush bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} semrush [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Seznam
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Seznam bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} seznam [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Zgrab
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Zgrab bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} zgrab [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Petalbot
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Petalbot bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} petalbot [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Jorgee
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Jorgee bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} jorgee [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Яндекса
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Yandex bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} yandex [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать Dotbot
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Dotbot bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} dotbot [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать бота Sogou
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 | # block Sogou bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} sogou [NC] RewriteRule .* - [F,L] </IfModule> |
Как заблокировать несколько ботов одновременно
Добавьте этот код в конец файла .htaccess:
| 1 2 3 4 5 6 7 | # block bot htaccess <IfModule mod_rewrite.c> RewriteCond %{HTTP_USER_AGENT} baidu [NC] RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC] RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC] RewriteRule .* - [F,L] </IfModule> |
Cписок известных краулеров
Вы можете блокировать любой User-agent, который вам нужен.
- 360Spider
- Ahrefs
- AhrefsBot
- ApacheBench
- Aport
- Applebot
- archive
- baidu
- BaiduBot
- Baiduspider
- Birubot
- BLEXBot
- bsalsa
- Butterfly
- Buzzbot
- BuzzSumo
- CamontSpider
- CCBot
- Cliqzbot
- CommentReader
- crazy
- curl
- dataminr
- Detectify
- DeuSu
- Digincore
- discobot
- Dispatch
- DomainSigma
- DomainTools
- dotbot
- duckduckgo
- Embedly
- exabot
- Ezooms
- facebookexternalhit
- FairShare
- Faraday
- FeedFetcher
- filterdb
- FlaxCrawler
- FlightDeckReportsBot
- FlipboardProxy
- FyberSpider
- getintent
- getprismatic
- Gigabot
- Go-http-client
- gold crawler
- GrapeshotCrawler
- help.jp
- HTMLParser
- HTTrack
- hybrid
- ia_archiver
- InfoSeek
- InterfaxScanBot
- InternetSeer
- Jakarta
- Java
- Jooblebot
- Jorgee
- JS-Kit
- km.ru
- kmSearchBot
- Kraken
- larbin
- Laserlikebot
- Leikibot
- libwww
- Lightspeedsystems
- Linguee
- LinkBot
- linkdexbot
- LinkExchanger
- linkfluence
- LinkpadBot
- LivelapBot
- LoadImpactPageAnalyzer
- ltx71
- lwp-trivial
- majestic
- masscan
- meanpathbot
- Mediatoolkitbot
- MegaIndex
- MetaURI
- mfibot
- MJ12bot
- MLBot
- musobot
- NerdByNature
- NetSeer
- NewShareCounts
- NING
- NjuiceBot
- Nutch
- Nuzzel
- omgili
- omgilibot
- OpenHoseBot
- openstat
- OptimizationCrawler
- Panopta
- PaperLiBot
- petalbot
- pflab
- PHP/
- pirst
- postano
- PostRank
- proximic
- ptd-crawler
- Purebot
- PycURL
- Python
- QuerySeekerSpider
- Riddler
- rogerbot
- Ruby
- SafeSearch
- Scrapy
- SearchBot
- semantic
- semrush
- SemrushBot
- Seopult
- seznam
- SeznamBot
- SISTRIX
- SiteBot
- Slurp
- SMTBot
- SMUrlExpander
- SNAPSHOT
- socialmediascanner
- sogou
- solomono
- SolomonoBot
- Soup
- spbot
- spredbot
- SputnikBot
- statdom
- StatOnlineRuBot
- suggybot
- Superfeedr
- SurdotlyBot
- SurveyBot
- SWeb
- trendictionbot
- TSearcher
- ttCrawler
- TurnitinBot
- TweetmemeBot
- ubermetrics
- UnwindFetchor
- urllib
- uTorrent
- veoozbot
- Voyager
- WBSearchBot
- Wget
- WordPress
- woriobot
- yandex
- Yeti
- YottosBot
- Zeus
- zgrab
- zitebot
- ZmEu