1. kafka分布式环境搭建
一. 集群规划
| 主机名 | IP | 组件 |
|---|---|---|
| hadoop1 | 192.168.205.154 | zookeeper, kafka |
| hadoop2 | 192.168.205.155 | kafka |
| hadoop3 | 192.168.205.156 | kafka |
kafka版本：3.6.0
二. 集群部署
-
安装JDK，具体安装过程此处不赘述。
-
安装zookeeper，本次采用单机模式部署在hadoop1，具体安装过程此处不赘述。
-
下载kafka安装包，并上传到对应目录下
[root@hadoop1 opt]# tar xf kafka_2.12-3.6.0.tgz [root@hadoop1 opt]# mv kafka_2.12-3.6.0 kafka-3.6.0/ -
修改配置文件config/server.properties
# 每台机器的id必须保持不一样 broker.id=1 # IP为当前主机的IP地址 advertised.listeners=PLAINTEXT://192.168.205.154:9092 # 日志目录 log.dirs=/opt/kafka-3.6.0/kafka-logs # zookeeper连接地址 zookeeper.connect=192.168.205.154:2181 -
将配置好的安装包分发到两外两台主机上
[root@hadoop1 ~]# scp -r /opt/kafka-3.6.0/ root@hadoop2:/opt [root@hadoop1 ~]# scp -r /opt/kafka-3.6.0/ root@hadoop3:/opt -
修改两外两台主机上的配置
# hadoop2 broker.id=2 advertised.listeners=PLAINTEXT://192.168.205.155:9092 # hadoop3 broker.id=3 advertised.listeners=PLAINTEXT://192.168.205.156:9092 -
启动zookeeper和kafka
# 启动zookeeper [root@hadoop1 zookeeper-3.9.2]# ./bin/zkServer.sh start # 启动kafka [root@hadoop1 kafka-3.6.0]# ./bin/kafka-server-start.sh -daemon config/server.properties [root@hadoop2 kafka-3.6.0]# ./bin/kafka-server-start.sh -daemon config/server.properties [root@hadoop3 kafka-3.6.0]# ./bin/kafka-server-start.sh -daemon config/server.properties
三. 集群测试
-
查看所有topic
[root@hadoop1 kafka-3.6.0]# ./bin/kafka-topics.sh --bootstrap-server 192.168.205.154:9092 --list -
创建topic
# 分区数为1，副本数为3 [root@hadoop1 kafka-3.6.0]# ./bin/kafka-topics.sh --bootstrap-server 192.168.205.154:9092 --create --topic first --partitions 1 --replication-factor 3 Created topic first. -
查看topic详细信息
# 查看topic详细信息 [root@hadoop1 kafka-3.6.0]# ./bin/kafka-topics.sh --bootstrap-server 192.168.205.154:9092 --describe --topic first Topic: first TopicId: Sj4KtQ8gRk-NCtHL7ONpBg PartitionCount: 1 ReplicationFactor: 3 Configs: Topic: first Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3 -
修改topic分区数
# 将topic的分区数修改为3 [root@hadoop1 kafka-3.6.0]# ./bin/kafka-topics.sh --bootstrap-server 192.168.205.154:9092 --alter --topic first --partitions 3 -
启动消费者
[root@hadoop2 kafka-3.6.0]# ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.205.154:9092 --topic first --from-beginning -
启动生产者
[root@hadoop1 kafka-3.6.0]# ./bin/kafka-console-producer.sh --bootstrap-server 192.168.205.154:9092 --topic first