При увеличения количество коньсюмеров, для распределения нагрузки необходимо увеличивать количество партиций в топике.
Apache Kafka – это распределённая и легко масштабируемая система обмена сообщениями с высокой пропускной способностью, которая может в реальном времени обрабатывать любые объемы данных.
На горячую количество партиций можно только увеличить, для уменьшения необходимо пересоздать топик.
Для увеличения количества партиций, переходим в директорию где у нас установлена Kafka
| 1 | ./bin/kafka-topics.sh --alter --zookeeper <zookeeper_ip>:2181 --partitions <count> --topic <topic_name> |
- zookeeper_ip - IP адрес сервера zookeeper, для лкоальной установки localhost
- count - количество партиций
- topic_name - имя топика
к примеру
| 1 | ./bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 10 --topic test |