При развертывании кластера Elasticsearch очень важно учитывать требования к аппаратному обеспечению для обеспечения оптимальной производительности, стабильности и масштабируемости. В этой статье приводится подробное руководство по аппаратным требованиям для Elasticsearch, включая требования к процессору, памяти, хранилищу и сети.
Требования к аппаратному обеспечению
Требования к процессору
Elasticsearch - это приложение, требовательное к процессору, поскольку оно выполняет различные задачи, такие как индексирование, поиск и агрегирование данных. Поэтому для эффективного выполнения этих задач необходимо иметь достаточное количество процессорных ядер. Необходимое количество процессорных ядер зависит от рабочей нагрузки и конкретного случая использования.
Например, если кластер Elasticsearch используется в основном для индексирования, то для выполнения нагрузки по индексированию может потребоваться больше процессорных ядер. С другой стороны, если кластер используется в основном для поиска и агрегирования данных, то для обеспечения более быстрого отклика на запросы может потребоваться меньшее количество процессорных ядер, но с более высокой тактовой частотой.
В качестве общего эмпирического правила рекомендуется иметь не менее одного процессорного ядра на узел Elasticsearch. Однако для производственных сред рекомендуется иметь не менее двух процессорных ядер на узел, чтобы эффективно справляться с нагрузкой.
Требования к памяти
Память является критически важным компонентом Elasticsearch, поскольку она напрямую влияет на производительность кластера. Elasticsearch в значительной степени полагается на кучу памяти Java для хранения и управления структурами данных, кэшами и буферами. Чем больше памяти доступно, тем выше производительность кластера.
Рекомендуемый размер кучи для Elasticsearch составляет 50% от доступной оперативной памяти, а максимальный - ~30 ГБ. Выделение более ~30 ГБ кучной памяти может привести к снижению производительности из-за поведения Java при сборке мусора, а также сжатия обычных указателей объектов в JVM.
Проверить, используются ли в узлах сжатые обычные указатели объектов, можно, выполнив следующую команду. Если это не так (т.е. возвращаемое значение равно false), то можно уменьшить объем памяти, выделенной под кучу, до тех пор, пока он не станет меньше порогового значения, обычно составляющего 26-30 ГБ в зависимости от системы.
| 1 | GET _nodes/_all/jvm?filter_path=**.using_compressed_ordinary_object_pointers |
Эта информация также может быть найдена в журналах при запуске узла, строка журнала выглядит следующим образом:
| 1 | heap size [16gb], compressed ordinary object pointers [true] |
Помимо кучи, Elasticsearch также использует внекупольную память для различных целей, таких как кэширование файловой системы и стеки потоков. Поэтому необходимо иметь достаточно оперативной памяти, чтобы удовлетворить потребности как в куче, так и во внекучевой памяти.
В качестве общего правила для небольших кластеров Elasticsearch рекомендуется иметь не менее 8 ГБ оперативной памяти. Для больших кластеров или производственных сред рекомендуется иметь 16 ГБ или более оперативной памяти на узел.
Требования к хранению данных
Elasticsearch хранит данные на диске в виде индексов, которые состоят из нескольких шардов. Требования к хранению данных в Elasticsearch зависят от объема данных, количества реплик и желаемого периода хранения.
В системах Elasticsearch используются два основных типа устройств хранения данных: жесткие диски (HDD) и твердотельные накопители (SSD). Жесткие диски, как правило, работают медленнее, но обеспечивают большую емкость при меньшей стоимости. Твердотельные накопители, напротив, обеспечивают более высокую скорость чтения и записи, что может существенно повысить производительность кластера.
В большинстве случаев для хранения данных Elasticsearch рекомендуется использовать SSD-накопители, так как они обеспечивают более высокую производительность и меньшую задержку по сравнению с HDD. Однако если емкость хранилища более приоритетна, чем производительность, то в качестве экономичной альтернативы можно использовать жесткие диски.
При определении объема памяти, необходимого для кластера Elasticsearch, учитывайте следующие факторы:
- Объем данных: Общий объем данных, которые планируется хранить в кластере, и частота поступления новых данных в кластер.
- Реплики: Количество реплик для каждого основного шарда, что влияет на общую требуемую емкость хранения.
- Период хранения: Срок, в течение которого планируется хранить данные в кластере.
Требования к сети
Elasticsearch полагается на быструю и стабильную сеть для связи между узлами и клиентами. Высокоскоростная сеть необходима для обеспечения низких задержек при выполнении операций поиска и индексирования, а также для поддержания общего состояния и стабильности кластера.
Для трафика Elasticsearch рекомендуется использовать выделенную сеть с пропускной способностью не менее 1 Гбит/с. Для больших кластеров или случаев использования высокой производительности может потребоваться сеть 10 Гбит/с, чтобы справиться с возросшим трафиком.
Заключение
В заключение следует отметить, что при планировании аппаратных требований к развертыванию Elasticsearch необходимо учитывать требования к процессору, памяти, хранилищу и сети в зависимости от конкретного случая использования и рабочей нагрузки. Тщательный выбор соответствующего оборудования позволит обеспечить оптимальную производительность, стабильность и масштабируемость кластера Elasticsearch.