kafka脚本工具使用
如何定位kakfa消费端消息异常问题
- 查看主题
- 查看消费者组
- 查看消费者详情（LAG: 消费者与最新消息的滞后程度(数字越大说明消费者处理消息的速度越慢)）
进入docker容器，直接运行sh脚本即可
docker exec -it <containerName> /bin/bash
或进入kafka安装路径bin目录下，通过 ./ 运行脚本
kafka主题列表
kafka-topics.sh --list --bootstrap-server <broker>
kafka主题详情
kafka-topics.sh --describe --topic <topic-name> --bootstrap-server <broker>
TopicId: 主题id
PartitionCount: 分区数
ReplicationFactor: 复制因子
Configs:配置信息
Partition: 分区
Leader:
Replicas: 副本数
Isr: (In-Sync Replicas)
kafka创建主题
kafka-topics.sh --bootstrap-server <broker> --create --topic <topic-name> --partitions <num-partitions> --replication-factor <rep-factor>
kafka删除主题
kafka-topics.sh --bootstrap-server <broker> --delete --topic <topic-name>
kafka消费者组
kafka-consumer-groups.sh --bootstrap-server <broker> --list
kafka消费者详细信息
kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <topic-name>
GROUP: 消费者组名称
TOPIC: 消费的主题
PARTITION: 消费的分区
CURRENT-OFFSET: 消费者当前的偏移量
LOG-END-OFFSET: 当前主题分区的最后一个消息偏移量
LAG: 消费者与最新消息的滞后程度(数字越大说明消费者处理消息的速度越慢)
CONSUMER-ID: 消费者的唯一标识
HOST: 消费者所在的主机
CLIENT-ID: 消费者客户端 ID
kakfa重置消费者组的偏移量(最新)
kafka-consumer-groups.sh --bootstrap-server <broker> --reset-offsets --group <consumer-group> --topic <topic-name> --to-latest --execute
kafka生产消息
kafka-console-producer.sh --broker-list <broker> --topic <topic-name>
kafka消费消息
kafka-console-consumer.sh --bootstrap-server <broker> --topic <topic-name> --from-beginning