OpenSearch узел отключен - основные причины и способы устранения

Существует ряд возможных причин, по которым узел может быть отключен от кластера. Важно учитывать, что отключение узла часто является симптомом какой-то основной проблемы, которую необходимо исследовать и решить.

Содержание

Как диагностировать

Лучший способ понять, что происходит в вашем кластере, - это:

Просмотреть данные мониторинга
Просмотреть журналы OpenSearch

Возможные причины

Чрезмерная сборка мусора в JVM

Если вы видите, что куча JVM не имеет регулярной формы зубцов пилы, а показывает неравномерную кривую вверх, или если вы видите много журналов, подобных этому:

[2024-01-10T13:35:51,628][WARNING][o.e.m.j.JvmGcMonitorService] [ES2-QUERY] [gc][550567] overhead, spent [615ms] collecting in the last [1s]

1	[2024-01-10T13:35:51,628][WARNING][o.e.m.j.JvmGcMonitorService] [ES2-QUERY] [gc][550567] overhead, spent [615ms] collecting in the last [1s]

Тогда вы почти наверняка столкнулись с проблемой сборки мусора в JVM. Это, в свою очередь, может быть вызвано проблемами конфигурации или типом и интенсивностью запросов или индексирования на кластере, как объясняется на следующей странице: Использование размера кучи в OpenSearch - подробное руководство.

Проблемы с конфигурацией

Проблемы с конфигурацией обычно возникают сразу же после запуска/перезапуска узла, а также при добавлении или удалении узлов из кластера. Однако некоторые проблемы конфигурации могут проявиться только тогда, когда кластер находится под нагрузкой (см. чрезмерную сборку мусора выше) или теряет один или несколько узлов. Подробнее здесь: Менеджер кластеров не обнаружен в OpenSearch - подробное объяснение.

Другие проблемы

Преднамеренный перезапуск/перезагрузка узла
Преднамеренное увеличение или уменьшение количества узлов
Аппаратные / сетевые проблемы

Как предотвратить отключение узлов

Настоятельно рекомендуется осуществлять мониторинг кластера на независимом кластере OpenSearch, чтобы данные мониторинга были доступны в нужный момент. Меньше всего вам хотелось бы не видеть данные мониторинга из-за сбоя в работе кластера OpenSearch.
Обращайте внимание на предупреждения и ошибки в журналах OpenSearch, которые могут указывать на проблемы, способные вывести из строя узел и, возможно, весь кластер.
Проактивное реагирование на эти проблемы может привести к их устранению до того, как они приведут к более серьезным проблемам.
Оптимизируйте свои поисковые запросы, опираясь на это руководство: Как повысить производительность поиска в OpenSearch.
Оптимизируйте производительность индексирования с помощью этого руководства: Улучшите скорость индексирования OpenSearch с помощью этих советов.