Блокировка User-Agents в файле .htaccess

Если на ваш сайт поступает слишком много трафика с разных IP-адресов с одним и тем же User-Agent, самый простой способ ограничить его - заблокировать User-Agent. Для этого откройте для редактирования файл .htaccess и добавьте правила ниже.

Блокировка User-Agents в файле .htaccess

Где вместо UserAgent следует вставить фактическое имя. Например, если вы хотите заблокировать User-Agent с именем Testbot, добавьте его как:

Рекомендуется добавлять их в самом начале файла .htaccess. Чтобы заблокировать более одного пользовательского агента (например, с именами SCspider, Testbot и s2bot), сделайте это с помощью правил .htacces, приведенных ниже:

Чтобы блокировать запросы от с пустым User-Agent, добавьте следующие правила в файл .htaccess:

Так же возможно использовать список

Либо полный user-agent

Блокировать плохих ботов

Некоторые боты хорошие, некоторые плохие. Плохие боты потребляют вашу пропускную способность и увеличивают нагрузку на ваш сервер, обеспечивая при этом небольшую ценность в виде трафика на ваш сайт. Пример ниже позволяет блокировать список известных плохих ботов.

Понравилась статья? Поделиться с друзьями:
Комментарии: 4
  1. Avatar for Иван
    Иван

    Не работает

    1. Avatar for Gnostis
      Gnostis (автор)

      Еще бы знать что именно не работает)

      настройки ниже - прекрасно блокируют FireFox

      Подстрока:
      RewriteEngine On
      RewriteCond %{HTTP_USER_AGENT} Firefox [NC]
      RewriteRule .* - [F,L]

      Список:
      SetEnvIfNoCase User-Agent "Firefox/109.0" bad_user_agent Order Allow,Deny
      Allow from all
      Deny from env=bad_user_agent

  2. Avatar for Владимир
    Владимир

    Ребят, я чайник в этом, на мой сайт идет много запросов со следующих Ботов:
    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 YaBrowser/23.5.1.721 Yowser/2.5 Safari/537.36

    Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36

    Как мне правильно прописать, что бы их заблочить?
    Заранее благодарю

    1. Avatar for Gnostis
      Gnostis (автор)

      htacess требует экранировать пробелы, что довольно муторно.



      RewriteEngine On
      RewriteCond %{HTTP_USER_AGENT} Mozilla/5\.0\ \(X11;\ Ubuntu;\ Linux\ x86_64;\ rv\:62\.0\)\ Gecko/20100101\ Firefox/62\.0 [NC]
      RewriteRule .* - [F,L]

      К тому же блокировка по user-agent не эффективна.

      Советую изучить возможность установки сайта за Cloudflare (это бесплатно)
      https://g-soft.info/articles/328/ustanovka-sayta-za-cloudflare/

      У них Cloudflare есть довольно полезный режим Bot Fight Mode
      https://g-soft.info/articles/8562/cloudflare-bot-fight-mode/

      Другие статьи по cloudflare: https://g-soft.info/tag/cloudflare/

Добавить комментарий