保姆级教程Docker部署Zookeeper模式的Kafka镜像
目录
一、安装Docker及可视化工具
二、Docker部署Zookeeper
三、单节点部署
1、创建挂载目录
2、命令运行容器
3、Compose运行容器
4、查看运行状态
5、验证功能
四、部署可视化工具
1、创建挂载目录
2、Compose运行容器
3、查看运行状态
一、安装Docker及可视化工具
为了简化安装过程并确保环境一致性，推荐使用 Docker 来本地部署 Kafka。这不仅能够快速启动服务，还能有效解决不同操作系统之间的兼容性问题，采用隔离环境的方式，避免了因环境差异导致的问题。
- Linux环境安装Docker可参考：Ubuntu上安装 Docker及可视化管理工具
- Windows环境安装Docker可参考：WSL2中安装Docker—部署Docker Engine方案
二、Docker部署Zookeeper
- Docker中部署Zookeeper镜像可参考：保姆级教程Docker部署Zookeeper官方镜像
三、单节点部署
1、创建挂载目录
# 创建宿主机kafka挂载目录
sudo mkdir -p /data/docker/kafka/data
# 修改data目录权限
sudo chmod 777 /data/docker/kafka/data2、命令运行容器
# 拉取镜像
sudo docker pull bitnami/kafka:3.4.0
# 运行容器
sudo docker run --privileged=true \
--net=zk-net \
-d --name=kafka \
-v /data/docker/kafkat/data:/bitnami/kafka/data \
-p 9092:9092 -p 9093:9093 \
-e TZ=Asia/Shanghai \
-e LANG=C.UTF-8 \
-e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181 \
-e KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e BITNAMI_DEBUG=yes \
bitnami/kafka:3.4.0参数解析如下：
| 参数 | 参数说明 |
| docker run | 运行 Docker 容器 |
| -d | 容器将在后台运行，而不是占用当前的终端会话 |
| --privileged=true | Docker会赋予容器几乎与宿主机相同的权限 |
| --net=zk-net | 网络模式配置，加入Zookeeper容器创建的网络，以便容器间通讯 |
| --name kafka | 给容器命名为 kafka，以便于管理和引用该容器 |
| -p 9092:9092 -p 9093:9093 | 映射 kafka 的客户端通信端口和控制器端口 |
| -e KAFKA_CFG_ZOOKEEPER_CONNECT= zookeeper:2181 | zookeeper的连接地址 |
| -e KAFKA_CFG_LISTENERS= PLAINTEXT://:9092,CONTROLLER://:9093 | 表示Kafka要监听哪些端口，PLAINTEXT://:9092,CONTROLLER://:9093表示本节点作为混合节点，监听本机所有可用网卡的9092和9093端口，其中9092作为客户端通信端口，9093作为控制器端口 |
| -e KAFKA_CFG_ADVERTISED_LISTENERS= PLAINTEXT://192.168.3.9:9092 | 配置Kafka的外网地址，需要修改为对应的Kafka的外网地址。 |
| -e ALLOW_PLAINTEXT_LISTENER=yes | 允许Kafka监听器使用明文传输 |
| -e BITNAMI_DEBUG=yes | 显示详细报错信息 |
3、Compose运行容器
创建docker-compose.yml文件
sudo touch /data/docker/kafka/docker-compose.yml文件内容如下：
version: '3'
networks:
zk-net:
external: true # 标记这个网络是外部网络
services:
kafka:
image: bitnami/kafka:3.4.0
container_name: kafka
ports:
- "9092:9092"
- "9093:9093"
environment:
- TZ=Asia/Shanghai
- LANG=C.UTF-8
- KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
- KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.3.9:9092
- ALLOW_PLAINTEXT_LISTENER=yes
- BITNAMI_DEBUG=yes
volumes:
- /data/docker/kafka/data:/bitnami/kafka/data
privileged: true
networks:
- zk-net运行容器
#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka/docker-compose.yml up -d4、查看运行状态
5、验证功能
验证步骤如下，分别创建一个生产者和一个消费者，查看消费者是否能够收到生产者生产的消息
# 1.进入kafka容器内
sudo docker exec -it kafka /bin/bash
# 2.进入kafka安装目录
cd /opt/bitnami/kafka/bin
# 3.生产消息
./kafka-console-producer.sh --topic test01 --bootstrap-server localhost:9092
# 3.消费消息
./kafka-console-consumer.sh --topic test01 --from-beginning --bootstrap-server localhost:9092 --group group01
# 查询主题列表
./kafka-topics.sh --bootstrap-server localhost:9092 --list
# 查询消费组列表
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list生产消息
消费消息
验证结果表明，kafka部署正常，可正常生产和消费消息
四、部署可视化工具
Zookeeper模式的Kafka推荐使用Kafka Eagle进行可视化管理。Kafka Eagle 是一款开源的 Kafka 监控和管理工具，主要用于监控 Kafka 集群的健康状态、性能指标以及管理主题和消费者组。
1、创建挂载目录
# 创建宿主机kafka-eagle挂载目录
sudo mkdir -p /data/docker/kafka-eagle2、Compose运行容器
创建docker-compose.yml文件
sudo touch /data/docker/kafka-eagle/docker-compose.yml文件内容如下：
version: '3'
networks:
zk-net:
external: true # 标记这个网络是外部网络
services:
kafka-eagle:
image: nickzurich/efak:3.0.1
container_name: kafka-eagle
ports:
- "8048:8048"
environment:
- TZ=Asia/Shanghai
- EFAK_CLUSTER_ZK_LIST='zookeeper:2181'
volumes:
- /data/docker/kafka-eagle/config:/opt/efak/conf
- /data/docker/kafka-eagle/data:/hadoop/efak/db
privileged: true
networks:
- zk-net运行容器
#-f:调用文件,-d:开启守护进程
sudo docker compose -f /data/docker/kafka-eagle/docker-compose.yml up -d3、查看运行状态
http://192.168.3.9:8048
用户名密码：admin/123456
