kafka查看topic消息是否堆积

消费kafka topic命令

集群：

 kafka-console-consumer.sh --zookeeper <ip:2181>,<ip:2181>,<ip:2181> --topic <topic_name>

单例：

 kafka-console-consumer.sh --zookeeper <ip:2181> --topic <topic_name>

查看kafka分组

集群：

kafka-consumer-groups.sh --bootstrap-server <ip1:9092>,<ip2:9092>,<ip3:9092> --list

单机

kafka-consumer-groups.sh --bootstrap-server <ip:9092> --list

示例

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

使用 kafka-consumer-groups.sh 查看消费进度

Kafka 提供了 kafka-consumer-groups.sh 工具，可以查看 消费者组的偏移量（offsets） 和 当前 lag（积压）。
单机

kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER> --group <CONSUMER_GROUP> --describe

集群

kafka-consumer-groups.sh --bootstrap-server <KAFKA_BROKER1>,<KAFKA_BROKER2>,<KAFKA_BROKER3> --group <CONSUMER_GROUP> --describe

示例

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-consumer-group --describe

输出示例

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG          CONSUMER-ID
my-topic       0          100             500             400          consumer-1
my-topic       1          200             600             400          consumer-2

如何判断堆积？

LAG 值大于 0 说明消费者消费速度慢，消息在 Kafka 中积压。
LAG 值持续增加 说明生产者速度快于消费者，消息持续堆积。