Cloudflare имеется функционал безопасности Bot Fight Mode, которая помогает пользователям ее услуг предотвратить вредоносные боты от соскабливания их веб-сайтов, кражи учетных данных, неправильного использования API или других атак.
Bot Fight Mode
При включении этой опции Cloudflare начнет "отлавливать" любых автоматизированных ботов на сайтах, которые он определит как плохие или вредоносные. Он также попытается отключить IP-адрес, с которого был запущен бот.
Тарпитинг - это метод, который некоторые поставщики облачных услуг используют для увеличения стоимости атаки ботов для операторов ботов. Некоторые тарпиты работают путем значительной задержки ответов на плохой запрос бота или путем направления ботов по "слепым" путям, подобно тому, как работают медовые точки для вредоносных программ.
В случае Cloudflare, когда ее механизмы безопасности обнаруживают трафик, исходящий от вредоносного бота, она развертывает код с интенсивным использованием процессора, который замедляет работу бота и заставляет автора бота тратить больше циклов процессора, увеличивая тем самым его расходы.
Чтобы определить, является ли бот вредоносным, Cloudflare анализирует данные из различных источников, включая свою систему снижения DDoS-атак Gatebot и данные более 20 миллионов сайтов, которые пользуются ее услугами. Компания рассматривает такие данные, как аномально высокие показатели просмотров страниц или отказов, необычно высокая или низкая продолжительность сеанса, а также всплески трафика из неожиданных мест для автоматического обнаружения недобросовестных ботов. По данным Cloudflare, ее механизмы обнаружения ботов противостоят примерно 3 миллиардам запросов ботов в день.
"Тарпиттинг - это принятие мер, направленных на замедление атаки, а не на ее полное блокирование, - говорит представитель Cloudflare. По ее словам, полная блокировка позволяет боту быстро перейти к другой цели. "Блокирование позволяет нам воздействовать на бота, тратя часть его времени и ресурсов", - добавляет она. Примером может служить требование к боту решить очень тяжелую для вычислений математическую задачу, отмечает пресс-секретарь.
Включение Bot Fight Mode
Чтобы начать использовать режим борьбы с ботами:
- Войдите в панель Cloudflare и выберите свою учетную запись и домен.
- Перейдите в раздел Security > Bots.
- Для параметра Bot Fight Mode выберите Вкл.
Добавление исключений
Брандмауэр Cloudflare вступает в игру только после режима борьбы с ботами и до правил доступа к IP-адресам. Поэтому вы можете добавить IP-адрес происхождения вашего сервера в правила IP-доступа и обойти режим Bot Fight Mode.
Вы можете добавить IP-адреса поставщиков услуг в "Правила доступа к IP-адресам" в разделе WAF->Tools. Это работает, если вы знаете диапазон IP-адресов затронутых поставщиков услуг. Однако не все поставщики услуг предоставляют эту информацию, и вам придется постоянно обновлять ее.
Проблема плохих ботов
Такие меры стали крайне важными из-за высокой и растущей доли интернет-трафика, состоящего из автоматизированных ботов. Не все из них являются вредоносными. Многие боты, например, используемые поисковыми системами для просмотра веб-страниц или для мониторинга показателей веб-сайта или для выявления нарушений авторских прав, выполняют полезные и часто критически важные функции.
Однако многие боты используются для вредоносных и других потенциально нежелательных целей, например, для атак с подстановкой учетных данных, отправки нежелательных данных через онлайн-формы, соскабливания контента или взлома учетных записей пользователей. Иногда даже боты, использование которых считается законным - например, боты для сбора инвентаря, которые блокируют инвентарь розничного продавца или сайта по продаже билетов - могут стать серьезной проблемой.
В отчете Distil Networks, опубликованном в начале этого года, почти 38% всего интернет-трафика в 2018 году составляли автоматизированные боты - как плохие, так и хорошие. Только на плохих ботов в прошлом году пришлось поразительные 20,4% всего интернет-трафика.
"В зависимости от бизнеса организации, проблема может варьироваться от проблематичных для некоторых частей бизнеса, таких как вброс предложений о продаже на веб-сайт, до абсолютно разрушительных, [таких как] хранение запасов и откровенное воровство", - говорит представитель Cloudflare.
Существующие подходы к блокировке эффективны для предотвращения атаки одного бота на один сайт, но они мало что делают для предотвращения перехода бота к более мягкой цели. "Цель режима борьбы с ботами - заставить ботов потратить больше времени и ресурсов, прежде чем они смогут двигаться дальше", - отметила пресс-секретарь.
Помимо борьбы с ботами, Cloudflare также будет добиваться отключения всех IP-адресов, которые рассылают плохих ботов. Если провайдер, размещающий бота, является партнером, Cloudflare передаст IP партнеру. Если провайдер не является партнером, Cloudflare все равно уведомит его о плохом IP-адресе и продолжит блокировать любой трафик, исходящий с него.
Франклин Джонс, директор по маркетингу компании Cequence Security, говорит, что одной из причин высокой доли плохих ботов является простота их развертывания. "Запуск автоматизированной атаки бота - удивительно простой процесс", - говорит Джонс. "Для этого требуются только ранее украденные учетные данные, программное обеспечение для планирования и организации запуска, а также прокси-инфраструктура для масштабирования и маскировки атаки".
Поскольку общая стоимость атаки может составлять всего несколько сотен долларов, злоумышленники рассматривают эту стратегию как путь наименьшего сопротивления, говорит он. Исследование, проведенное компанией Osterman Research по заказу Cequence в прошлом году, показало, что средние корпоративные организации ежедневно подвергаются примерно 530 атакам ботнетов.
"Эти автоматизированные атаки преследуют множество целей, включая захват учетных записей, создание поддельных учетных записей, мошенничество с подарочными картами, соскабливание контента и другие нарушения бизнес-логики приложений", - говорит Джонс.