Kafka_2.13-3.6.0 常用命令快速指南

Kafka_2.13-3.6.0 常用命令及说明

1. 环境配置

下载并解压 Kafka

# 下载 Kafka_2.13-3.6.0 安装包
wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz

# 解压文件
tar -xzf kafka_2.13-3.6.0.tgz

# 进入 Kafka 目录
cd kafka_2.13-3.6.0

启动 Zookeeper

Kafka 依赖 Zookeeper 进行元数据管理。

# 启动 Zookeeper 服务
bin/zookeeper-server-start.sh config/zookeeper.properties

启动 Kafka Broker

# 启动 Kafka 服务
bin/kafka-server-start.sh config/server.properties

2. 常用命令

2.1 创建主题（Topic）

# 创建一个主题
bin/kafka-topics.sh --create \
    --bootstrap-server localhost:9092 \
    --replication-factor 1 \
    --partitions 1 \
    --topic my-topic

参数说明：

• --bootstrap-server：指定 Kafka 的连接地址。
• --replication-factor：副本数量（确保高可用性）。
• --partitions：分区数量。
• --topic：主题名称。

2.2 查看主题列表

# 查看所有主题
bin/kafka-topics.sh --list --bootstrap-server localhost:9092

2.3 描述主题

# 查看主题详细信息
bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-topic

2.4 删除主题

# 删除一个主题
bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic my-topic

2.5 生产消息

# 向主题发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic

运行后输入消息，每输入一行，按 Enter 即发送。

2.6 消费消息

# 从主题消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning

参数说明：

• --from-beginning：从头开始读取所有消息。

2.7 检查消费者组

# 查看所有消费者组
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

# 查看某个消费者组的详细信息
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <group_name>

2.8 修改分区数

# 增加主题的分区数（注意：不能减少分区数）
bin/kafka-topics.sh --alter --bootstrap-server localhost:9092 --topic my-topic --partitions 3

2.9 检查消息堆积

# 查看消费者组的 Lag 信息（消息堆积量）
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <group_name>

2.10 检查 Kafka 集群状态

# 检查 Kafka Broker 状态
bin/zookeeper-shell.sh localhost:2181 <<< "ls /brokers/ids"

如果输出了 Broker ID 列表，则表示集群正常运行。

3. 停止服务

停止 Kafka

# 停止 Kafka 服务
bin/kafka-server-stop.sh config/server.properties

停止 Zookeeper

# 停止 Zookeeper 服务
bin/zookeeper-server-stop.sh config/zookeeper.properties

4. 注意事项

1. 确保 JAVA_HOME 已正确设置。
2. 启动 Kafka 和 Zookeeper 时，检查 config 配置文件，确保 listeners 和 log.dirs 配置符合实际需求。
3. 在生产环境中，建议设置多个 Broker 节点和合适的副本数以保证高可用性。

通过以上命令，您可以完成 Kafka 的基本操作和管理。