OpenSearch Flush, Translog и Refresh - руководство

В OpenSearch flushing - это процесс постоянного сохранения на диске данных для всех операций, которые временно хранились в памяти. Этот процесс также известен как фиксация Lucene.

Как индексируются документы OpenSearch?

Чтобы понять актуальность "промывки", необходимо разобраться в том, как OpenSearch индексирует документы.

При индексировании новых документов операции записываются на диск в транслоге и хранятся в памяти в буфере. Когда индекс обновляется, документы в буфере добавляются в новый сегмент Lucene, который также хранится в памяти.

Промывка (Flush)  - это процесс, при котором сегменты, хранящиеся в памяти, сохраняются на диске, одновременно закрывается генерация транслога и начинается новая пустая генерация транслога.

Промывка - это процесс, который выполняется OpenSearch за кулисами, используя эвристику для оптимизации компромисса между использованием памяти и записью на диск. Промывка обычно не требует вмешательства пользователей, хотя доступен api для промывки.

В случае сбоя или перезапуска узла OpenSearch извлекает и промывает все операции, которые были сохранены в транслоге до сбоя, чтобы не потерять данные.

Понравилась статья? Поделиться с друзьями:
Добавить комментарий