Kafka Lag - это параметр отображающий разницу (отставание) между CURRENT-OFFSET и LOG-END-OFFSET. Может служить признаком того что потребитель (CONSUMER) не успевает обрабатывать данные, что приводить к образованию очереди.
Для просмотра текущего лага из консоли, необходимо перейти в директорию где установлена Kafka
| 1 | cd /opt/kafka/ |
и выполнить скрипт
| 1 | ./bin/kafka-consumer-groups.sh --bootstrap-server <IP>:9092 --describe --group <group> |
- <group> - Группа для просмотра лага (CONSUMER GOUP)
- <IP> - IP адрес ноды Kafka, если локально обычно 127.0.0.1
либо для всех доступных групп
| 1 | ./bin/kafka-consumer-groups.sh --bootstrap-server <IP>:9092 --describe --all-groups |
Пример
| 1 2 3 | ./bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group test GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID test test 0 21003392 21124599 121207 rdkafka-3d882b20-fdfa-3ac7-8630-af34cdaeecb4 /192.168.0.108 rdkafka |