Управление памятью и использованием диска в OpenSearch - лучшие практики

Если вы хотите проверить, насколько эффективны и экономичны ваши ресурсы, один из способов сделать это - оценить соотношение использования диска и выделенной памяти.

Узлам OpenSearch требуется много оперативной памяти, как для индексирования, так и для поисковых операций. Объем оперативной памяти, необходимый для работы кластера OpenSearch, обычно пропорционален объему данных на кластере.

Рекомендуемое соотношение диска и оперативной памяти

Рекомендуемое соотношение диск/ОЗУ зависит от уровня. Рекомендации следующие:

  • Данные/Горячие/Контент - 30x
  • Теплый - 160x
  • Холодный - 300x
  • Замороженный - 1000x

Высокое соотношение памяти и диска

Согласно лучшей практике соотношения памяти и диска, если у вас более 1 ГБ памяти на 20 ГБ дискового пространства, это считается высоким соотношением памяти и диска, то есть кластеру требуется много памяти.

Если производительность кластера хорошая, а вы хотите сократить расходы, уменьшение памяти может стать возможностью сократить расходы, потому что соотношение здесь высокое. В этом случае маловероятно, что вы сможете использовать все ресурсы оперативной памяти на вашем кластере.

Высокое соотношение памяти и диска может наблюдаться в таких ситуациях, как:

  • Очень низкий срок хранения данных (например, 1 неделя)
  • Большой объем обновлений, а не индексирования новых данных
  • Приложения с интенсивным поиском (большое количество запросов или тяжелые агрегации относительно небольшого объема данных).

Если вы заинтересованы в снижении затрат, то для сокращения расходов вам следует рассмотреть возможность уменьшения объема оперативной памяти на существующих узлах.

Низкое соотношение памяти и диска

Согласно лучшей практике соотношения памяти и диска, если у вас менее 1 ГБ памяти на 80 ГБ дискового пространства, кластеру не хватает ресурсов памяти.

В этом случае вы, скорее всего, не сможете использовать все доступное дисковое пространство, а если и сможете, то, скорее всего, столкнетесь с проблемами производительности. Низкое соотношение памяти и диска может наблюдаться в таких ситуациях, как:

  • Очень долгое хранение данных
  • приложения, не требующие интенсивного поиска (низкая частота клиентских запросов, минимальные агрегации)
  • Теплые узлы "яруса данных"

Если производительность вашего кластера ниже, чем вам хотелось бы, возможно, вам стоит рассмотреть один или несколько следующих вариантов:

  • Увеличьте объем оперативной памяти на узлах до 32 ГБ.
  • Уменьшить размер диска на узлах или добавить дополнительные узлы данных.
Понравилась статья? Поделиться с друзьями:
Добавить комментарий