В этом учебном пособии, мы объясним, как создаются системы SIEM, как они переходят от необработанных данных о событиях к пониманию безопасности и как они управляют данными о событиях в огромных масштабах. Мы рассматриваем как традиционные платформы, так и современные архитектуры.
Платформы управления информацией о безопасности и событиями (SIEM) собирают данные журналов и событий из систем безопасности, сетей и компьютеров и превращают их в действенные сведения о безопасности. Технология SIEM может помочь организациям обнаружить угрозы, которые не видят отдельные системы безопасности, расследовать прошлые инциденты безопасности, осуществлять реагирование на инциденты и готовить отчеты для целей регулирования и соответствия нормативным требованиям.
Компоненты и возможности в архитектуре SIEM
- Разведка угроз (Threat Intelligence) - Собирает и агрегирует данные от систем безопасности и сетевых устройств.
- Потоки информации об угрозах (Threat Intelligence Feeds) - Объединяет внутренние данные с данными сторонних организаций об угрозах и уязвимостях.
- Корреляция и мониторинг безопасности - Связывает события и связанные с ними данные с инцидентами безопасности, угрозами или результатами судебной экспертизы.
- Аналитика - Использует статистические модели и машинное обучение для выявления более глубоких взаимосвязей между элементами данных.
- Оповещение - Анализирует события и отправляет оповещения для уведомления сотрудников службы безопасности о неотложных проблемах.
- Приборные панели (дашборды) - Создает визуализации, позволяющие сотрудникам просматривать данные о событиях, выявлять закономерности и аномалии.
- Соответствие стандартам - Собирает данные журналов для соответствия стандартам HIPAA, PCI/DSS, HITECH, SOX и GDPR и создает отчеты.
- Сохранение - Хранит долгосрочные исторические данные, полезные для соблюдения нормативных требований и судебно-медицинских расследований.
- Криминалистический анализ - Позволяет исследовать данные журналов и событий для выявления деталей инцидента безопасности.
- Поиск угроз - Позволяет сотрудникам службы безопасности выполнять запросы к данным журналов и событий для активного обнаружения угроз.
- Реагирование на инциденты - Помогает службам безопасности выявлять и реагировать на инциденты безопасности, быстро собирая все необходимые данные.
- Автоматизация SOC - Передовые SIEM могут автоматически реагировать на инциденты, организуя работу систем безопасности в рамках подхода, известного как оркестровка безопасности и реагирование (SOAR).
Процесс ведения журналов SIEM
Сервер SIEM в своей основе является платформой для управления журналами. Управление журналами включает в себя сбор данных, управление ими для проведения анализа и сохранение исторических данных.
Сбор данных
SIEM собирают журналы и события из сотен организационных систем (неполный список см. в разделе Источники журналов ниже). Каждое устройство генерирует событие каждый раз, когда что-то происходит, и собирает события в плоский файл журнала или базу данных. SIEM может собирать данные четырьмя способами:
- Через агент, установленный на устройстве (наиболее распространенный метод)
- путем прямого подключения к устройству с помощью сетевого протокола или вызова API
- путем доступа к файлам журналов непосредственно из хранилища, обычно в формате Syslog
- Через протокол потоковой передачи событий, например SNMP, Netflow или IPFIX.
Задача SIEM - собирать данные с устройств, стандартизировать их и сохранять в формате, позволяющем проводить анализ.
SIEM нового поколения предварительно интегрируются с распространенными облачными системами и источниками данных, что позволяет получать данные журналов напрямую. Многие управляемые облачные сервисы и SaaS-приложения не позволяют устанавливать традиционные коллекторы SIEM, поэтому прямая интеграция между SIEM и облачными системами имеет решающее значение для обеспечения прозрачности.
Управление данными
SIEM, особенно в крупных организациях, могут хранить умопомрачительные объемы данных. Эти данные должны быть:
- Хранить - либо на месте, либо в облаке, либо и там, и там.
- Оптимизированы и индексированы - для эффективного анализа и изучения.
- многоуровневым - горячие данные, необходимые для мониторинга безопасности в режиме реального времени, должны храниться на высокопроизводительных хранилищах, в то время как холодные данные, которые вы однажды захотите исследовать, должны быть перенесены на высокообъемные недорогие носители.
SIEM нового поколения все чаще основываются на современных технологиях озер данных, таких как Amazon S3, Hadoop или ElasticSearch, обеспечивая практически неограниченное хранение данных по низкой цене.
Хранение журналов
Отраслевые стандарты, такие как PCI DSS, HIPAA и SOX, требуют, чтобы журналы хранились от 1 до 7 лет. Крупные предприятия ежедневно создают очень большой объем журналов из ИТ-систем (см. раздел "Определение размеров SIEM" ниже). SIEM должны с умом подходить к выбору журналов, которые они сохраняют в соответствии с нормативными требованиями и требованиями судебной экспертизы. SIEM используют следующие стратегии для уменьшения объема журналов:
- Серверы Syslog - Syslog - это стандарт, который нормализует журналы, сохраняя только важную информацию в стандартном формате. Syslog позволяет сжимать журналы и сохранять большое количество исторических данных.
- Расписание удаления - SIEM автоматически очищают старые журналы, которые больше не нужны для соответствия нормативным требованиям. Доступ к файлам журналов осуществляется непосредственно из хранилища, обычно в формате Syslog.
- Фильтрация журналов - не все журналы необходимы для соответствия требованиям, предъявляемым вашей организацией, или для целей судебной экспертизы. Журналы можно фильтровать по исходной системе, времени или по другим правилам, определенным администратором SIEM.
- Обобщение - данные журнала можно обобщить, чтобы сохранить только важные элементы данных, такие как количество событий, уникальные IP-адреса и т.д.
Исторические журналы полезны не только для обеспечения соответствия нормативным требованиям и криминалистики. Их также можно использовать для глубокого поведенческого анализа. SIEM нового поколения предоставляют технологию анализа поведения пользователей и объектов (UEBA), которая использует машинное обучение и профилирование поведения для интеллектуального выявления аномалий или тенденций, даже если они не были учтены в правилах или статистических корреляциях традиционных SIEM.
SIEM нового поколения используют недорогое распределенное хранилище, позволяющее организациям сохранять все исходные данные. Это позволяет проводить глубокий поведенческий анализ исторических данных, чтобы выявить более широкий спектр аномалий и проблем безопасности.
Поток журналов
SIEM собирает 100 процентов данных журналов по всей организации. Но затем данные начинают стекать по воронке журналов, и сотни миллионов записей журналов могут быть сведены лишь к горстке действенных предупреждений безопасности.
SIEM отфильтровывают шум в журналах, чтобы сохранить только релевантные данные. Затем они индексируют и оптимизируют релевантные данные для проведения анализа. Наконец, около 1% данных, которые являются наиболее значимыми для вашей системы безопасности, подвергаются корреляции и более глубокому анализу. Из этих корреляций те, которые превышают пороговые значения безопасности, становятся предупреждениями безопасности.
Интеграции SIEM
Платформы SIEM интегрируются с большим количеством разнообразных источников данных по безопасности и организационных данных и могут анализировать, агрегировать и анализировать данные на предмет их значимости для безопасности. Вот лишь несколько примеров источников данных.
Самостоятельное размещение (самостоятельное управление)
Это традиционная модель развертывания SIEM - размещение SIEM в вашем центре обработки данных, часто со специальным SIEM-устройством, обслуживание систем хранения и управление с помощью обученного персонала службы безопасности. Эта модель сделала SIEM печально известной сложной и дорогой в обслуживании инфраструктурой.
Облачный SIEM (самостоятельное управление)
MSSP обрабатывает: Получение событий из систем организации, сбор и агрегирование.
Вы занимаетесь: Корреляция, анализ, оповещение и информационные панели, процессы безопасности, использующие данные SIEM.
Самостоятельное размещение (гибридное управление)
Вы занимаетесь: Приобретение программного обеспечения и аппаратной инфраструктуры.
MSSP совместно с вашими сотрудниками службы безопасности: Развертывание системы сбора/агрегации событий SIEM, корреляция, анализ, оповещение и информационные панели.
SIEM как услуга
MSSP обслуживает: Сбор событий, агрегация, корреляция, анализ, оповещение и информационные панели.
Вы обрабатываете: Процессы безопасности с использованием данных SIEM.
Какая модель хостинга вам подходит?
Следующие соображения помогут вам выбрать модель развертывания SIEM:
- Есть ли у вас существующая инфраструктура SIEM? Если вы уже приобрели аппаратное и программное обеспечение, выберите вариант самостоятельного хостинга или воспользуйтесь опытом MSSP для совместного управления SIEM с местной командой.
- Можете ли вы перенести данные за пределы помещения? Если да, то модель с облачным хостингом или полным управлением может снизить затраты и накладные расходы на управление.
- Есть ли у вас сотрудники службы безопасности с опытом работы с SIEM? Человеческий фактор имеет решающее значение для получения истинной пользы от SIEM. Если у вас нет квалифицированных сотрудников службы безопасности, арендуйте услуги анализа по модели гибридного управления или SIEM-как-услуга.
Определение размеров SIEM: Скорость, объем и требования к аппаратному обеспечению
Большинство SIEM сегодня развертываются на местах. Это требует от организаций тщательного анализа объема генерируемых ими данных журналов и событий, а также системных ресурсов, необходимых для управления ими.
Расчет скорости: События в секунду (EPS)
Общепринятым показателем скорости является количество событий в секунду (EPS), определяемое как: # количество событий безопасности, деленное на период времени в секундах = EPS.
EPS может меняться в обычное и пиковое время. Например, маршрутизатор Cisco может генерировать в среднем 0,6 событий в секунду, но в пиковое время, например, во время атаки, он может генерировать до 154 EPS.
Согласно Руководству по бенчмаркингу SIEM Института SANS, организациям следует найти баланс между нормальными и пиковыми измерениями EPS. Непрактично и не нужно создавать SIEM для обработки пиковых EPS для всех сетевых устройств, поскольку маловероятно, что все устройства достигнут пика одновременно. С другой стороны, вы должны планировать кризисные ситуации, в которых SIEM будет наиболее востребован.
Простая модель для прогнозирования EPS в нормальное и пиковое время
- Измерьте нормальную EPS и пиковую EPS, просмотрев данные за 90 дней для целевой системы.
- Оценить количество пиков в день
- Оценить продолжительность пика в секундах и, соответственно, общее количество пиковых секунд в день.
- Рассчитайте общее количество пиковых событий в день = (общее количество пиковых секунд в день) * пиковый EPS
- Рассчитайте общее количество нормальных событий в день = (общее количество секунд - общее количество пиковых секунд в день) * нормальный EPS
Сумма этих двух чисел является общей расчетной скоростью.
Кроме того, руководство SANS рекомендует добавить:
- 10% для резерва
- 10% для роста
Таким образом, окончательное количество событий в день составит:
(общее количество пиковых событий в день + общее количество нормальных событий в день) * 110% резерва * 110% роста.
Вычисление скорости: События в секунду (EPS)
В следующей таблице SANS, показаны типичные средние EPS (нормальные EPS) и пиковые EPS для отдельных сетевых устройств. Этим данным уже несколько лет, но они могут дать приблизительные цифры для ваших первоначальных оценок.
Чтобы определить размер SIEM, проведите инвентаризацию устройств, с которых вы собираетесь собирать журналы. Умножьте количество подобных устройств на их предполагаемое количество EPS, чтобы получить общее количество событий в день в вашей сети.
Потребности в хранении
Согласно эмпирическому правилу, среднее событие занимает 300 байт. Таким образом, для каждой 1 000 EPS (86,4 млн. событий в день) SIEM необходимо хранить:
Определение размеров аппаратного обеспечения
После того как вы определите скорость и объем событий, при определении размера аппаратного обеспечения для SIEM учитывайте следующие факторы:
- Формат хранения - как будут храниться файлы? Формат плоского файла, реляционная база данных или хранилище неструктурированных данных, например, Hadoop?
- Развертывание хранилища и аппаратное обеспечение - возможно ли перемещение данных в облако? Если да, то облачные сервисы, такие как Amazon S3 и Azure Blob Storage, будут весьма привлекательны для хранения большинства данных SIEM. Если нет, подумайте о том, какие ресурсы хранения доступны локально, и следует ли использовать обычные системы хранения с Hadoop или NoSQL БД, или высокопроизводительные устройства хранения.
- Сжатие журналов - какие технологии доступны для сжатия журнальных данных? Многие поставщики SIEM рекламируют степень сжатия 1:8 и более.
- Шифрование - есть ли необходимость в шифровании данных, когда они попадают в хранилище данных SIEM? Определите требования к программному и аппаратному обеспечению.
- Горячее хранение (краткосрочные данные) - требуется высокая производительность для обеспечения мониторинга и анализа в режиме реального времени.
- Долгосрочное хранение (сохранение данных) - требуется большой объем недорогих носителей для максимального сохранения исторических данных.
- Отказоустойчивость и резервное копирование - как критически важная система, SIEM должна быть построена с избыточностью и подкреплена четким планом непрерывности бизнеса.
Масштабируемость и Озеро данных (Data Lakes)
За последнее десятилетие сети выросли, количество подключенных устройств увеличилось, а объемы данных растут экспоненциально. Кроме того, растет потребность в доступе ко всем историческим данным - а не только к их отфильтрованной, обобщенной версии - для проведения более глубокого анализа. Современная технология SIEM способна осмыслить огромные объемы исторических данных и использовать их для обнаружения новых аномалий и закономерностей.
В 2015 году компания O'Reilly выпустила отчет под названием The Security Data Lake, в котором предлагался надежный подход к хранению данных SIEM в озере данных Hadoop. В отчете поясняется, что озера данных не заменяют SIEM - SIEM по-прежнему необходимы для анализа и осмысления данных журналов из множества различных систем, а также для последующего анализа и извлечения из этих данных выводов и предупреждений.
Озеро данных, являясь дополнением к SIEM, обеспечивает:
- Практически неограниченное и недорогое хранилище данных, основанное на использовании обычных устройств.
- Новые способы обработки больших данных - инструменты экосистемы Hadoop, такие как Hive и Spark, позволяют быстро обрабатывать огромные объемы данных, в то же время позволяя традиционной инфраструктуре SIEM запрашивать данные через SQL.
- Возможность сохранения всех данных во множестве новых источников данных, таких как облачные приложения, IoT и мобильные устройства.
Сегодня существуют дополнительные технические возможности для реализации озер данных, помимо тяжеловесного Hadoop, включая ElasticSearch, Cassandra и MongoDB.
Еще одно преимущество хранения озер данных заключается в том, что затраты на оборудование становятся предсказуемыми. Вы можете просто добавлять узлы в озеро данных, работающее на обычном или облачном оборудовании, чтобы линейно увеличивать объем хранимых данных. SIEM, основанные на технологии озера данных, могут легко добавлять новые источники данных или увеличивать объем хранимых данных при низких затратах.
Архитектура SIEM: Тогда и сейчас
Исторически SIEM были дорогостоящими монолитными корпоративными инфраструктурами, построенными с использованием собственного программного обеспечения и специализированного оборудования, предназначенного для обработки больших объемов данных. Вместе с индустрией программного обеспечения в целом, SIEM эволюционируют, становясь более гибкими и легкими, а также гораздо более умными, чем раньше.
Решения SIEM нового поколения используют современную архитектуру, которая более доступна по цене, легче внедряется и помогает командам безопасности быстрее обнаруживать реальные проблемы безопасности:
- Современная технология "озер данных" - предлагает хранение больших данных с неограниченной масштабируемостью, низкой стоимостью и повышенной производительностью.
Новые возможности управляемого хостинга и управления - MSSP помогают организациям внедрять SIEM, управляя частью инфраструктуры (на территории или в облаке), а также предоставляя специалистов для управления процессами безопасности. - Динамическая масштабируемость и предсказуемые затраты - администраторам SIEM больше не нужно скрупулезно рассчитывать размеры и вносить изменения в архитектуру при росте объемов данных. Хранилище SIEM теперь может динамически и предсказуемо расти при увеличении объемов данных.
- Обогащение данных контекстом - Это необходимо для отсеивания ложных срабатываний в решении SIEM, чтобы анализировать данные и иметь возможность эффективно обнаруживать и реагировать на реальные угрозы.
- Новое понимание с помощью аналитики поведения пользователей и объектов (UEBA) - Сегодня архитектуры SIEM включают в себя компоненты расширенной аналитики, такие как машинное обучение и профилирование поведения, которые выходят за рамки традиционных корреляций и позволяют обнаружить новые взаимосвязи и аномалии в огромных массивах данных. Подробнее читайте в нашей главе о UEBA.
- Обеспечение реагирования на инциденты - Современные SIEM используют технологию Security Orchestration and Automation (SOAR), которая помогает выявлять и автоматически реагировать на инциденты безопасности, а также поддерживает расследование инцидентов сотрудниками операционного центра безопасности. Подробнее читайте в главе о реагировании на инциденты.