Apache Kafka — это распределённая платформа для потоковой передачи данных, которая позволяет обрабатывать и хранить большие объёмы информации. В этой статье мы рассмотрим, как получить данные из топика Kafka и просмотреть их в консоли. Это может быть полезно для разработчиков и администраторов, которые хотят изучить данные, хранящиеся в Kafka, или отладить процесс обработки данных.
Для просмотра событий в консоли, необходимо перейти в директорию где установлена Kafka
| 1 | cd /opt/kafka/ |
и выполнить скрипт
| 1 | ./bin/kafka-console-consumer.sh --bootstrap-server [localhost:9092] --topic [Топик] --group [Идентификатор группы] --from-beginning |
Где
- --bootstrap-server localhost:9092 - адрес подключения
- --topic [Топик] - имя топика. для получения событий
- --group [Идентификатор группы] консьюмеров.
- --from-beginning - Если у консьюмера еще нет установленного смещения для потребления начнет чтение с самого раннего сообщения, присутствующего в журнале, а не а не с последнего сообщения.
[Идентификатор группы] является не обязательным параметром.
К примеру
| 1 | ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group test-group --from-beginning |
Команда читает события с локального сервера, с топика test, начиная с самого начала, при этом группа косюмеров назначена как test-group .
| 1 | ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test |
Читаем события с последней сохраненной позиции из топика test.