На кластере Elasticsearch существуют различные пороговые значения " watermark". По мере заполнения диска на узле первым порогом, который будет преодолен, станет " low disk watermark ". После преодоления этого порога кластер Elasticsearch перестанет выделять шарды этому узлу. Это означает, что ваш кластер может стать желтым.
Вторым порогом будет " high disk watermark". Наконец, будет достигнута "стадия переполнения диска". После прохождения этого порога кластер заблокирует запись во ВСЕ индексы, имеющие один шард (основной или реплику) на узле, который прошел водяной знак. Чтение (поиск) по-прежнему будет возможно.
Как решить проблему
Прохождение этого порога является предупреждением, и не следует затягивать с принятием мер до достижения более высоких порогов. Ниже перечислены возможные действия, которые можно предпринять для решения проблемы:
- Удалить старые индексы
- Удалить документы из существующих индексов
- Увеличить дисковое пространство на узле
- Добавить новые узлы в кластер.
Посмотреть примененные настройки можно с помощью этой команды:
| 1 | GET _cluster/settings |
Если они не подходят, их можно изменить с помощью команды, приведенной ниже:
| 1 2 3 4 5 6 7 8 9 10 | PUT _cluster/settings { "transient": { "cluster.routing.allocation.disk.watermark.low": "85%", "cluster.routing.allocation.disk.watermark.high": "90%", "cluster.routing.allocation.disk.watermark.flood_stage": "95%", "cluster.info.update.interval": "1m" } } |
Как этого избежать
Существуют различные механизмы автоматического удаления устаревших данных.
Как автоматически удалять устаревшие данные:
- Применить ILM (управление состоянием индекса)
Используя ILM , вы можете заставить elasticsearch автоматически удалять индекс, когда текущий размер индекса достигает заданного возраста. - Использование индексов, основанных на дате
Если в вашем приложении используются индексы, основанные на дате, то удалить старые индексы легко с помощью скрипта. - Использование моментальных снимков для автономного хранения данных
Может оказаться целесообразным хранить моментальные снимки данных в автономном режиме и восстанавливать их в том случае, если архивные данные необходимо просмотреть или изучить. - Автоматизация/упрощение процесса добавления новых узлов данных
Используйте средства автоматизации, такие как terraform, для автоматизации процесса добавления новых узлов в кластер. Если это невозможно, то, по крайней мере, убедитесь, что у вас есть четко документированный процесс создания новых узлов, добавления сертификатов TLS и конфигурации, а также их включения в кластер elasticsearch в короткие и предсказуемые сроки.