Kafka节点服役和退役
1 服役新节点
1)新节点准备
(1)关闭 bigdata03,进行一个快照,并右键执行克隆操作。
(2)开启 bigdata04,并修改 IP 地址。
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改完记得重启网卡:
systemctl restart network
(3)在 bigdata04 上,修改主机名称为 bigdata04。
hostname bigdata04 # 临时修改
[root@bigdata04 ~]# vim /etc/hostname
bigdata04
还要记得修改 /etc/hosts文件,并进行同步
修改bigdata01的hosts 文件,修改完之后,记得同步一下
192.168.52.11 bigdata01
192.168.52.12 bigdata03
192.168.52.13 bigdata02
192.168.52.14 bigdata04
xsync.sh /etc/hosts
scp -r /etc/hosts root@bigdata04:/etc/
(4)重新启动 bigdata03、bigdata04。
(5)修改 bigdata04 中 kafka 的 broker.id 为 3。
进入bigdata04的kafka中,修改里面的配置文件 config/server.properties
(6)删除 bigdata04 中 kafka 下的 datas 和 logs。
rm -rf datas/* logs/*
(7)启动 bigdata01、bigdata02、bigdata03 上的 kafka 集群。
先启动zk集群
xcall.sh zkServer.sh stop
xcall.sh zkServer.sh start
启动kafka集群(只能启动三台)
kf.sh start
(8)单独启动 bigdata04 中的 kafka。
kafka-server-start.sh -daemon ./config/server.properties
查看kafka集群first主题的详情:
kafka-topics.sh --bootstrap-server bigdata01:9092 --topic first --describe
发现副本数并没有增加。
由于我之前创建first这个主题的时候只有一个副本,不是三个副本,所以呢,演示效果不佳。
kafka-topics.sh --bootstrap-server bigdata01:9092 --topic third --create --partitions 3 --replication-factor 3
2)执行负载均衡操作
(1)创建一个要均衡的主题
在Kafka下:
创建一个文件:vi topics-to-move.json
写上如下代码,如果多个topic 可以使用,分隔
{
"topics": [
{"topic": "third"}
],
"version": 1
}
2)生成一个负载均衡的计划
在创建的时候,记得启动bigdata04节点,否则计划中还是没有bigdata04
kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2,3" --generate
未来的分区策略拷贝一份:
{"version":1,"partitions":[{"topic":"abc","partition":0,"replicas":[2,0,1],"log_dirs":["any","any","any"]},{"topic":"abc","partition":1,"replicas":[3,1,2],"log_dirs":["any","any","any"]},{"topic":"abc","partition":2,"replicas":[0,2,3],"log_dirs":["any","any","any"]}]}
(3)创建副本存储计划(所有副本存储在 broker0、broker1、broker2、broker3 中)。
vi increase-replication-factor.json
{"version":1,"partitions":[{"topic":"first","partition":0,"replicas":[3,2,0],"log_dirs":["any","any","any"]},{"topic":"first","partition":1,"replicas":[0,3,1],"log_dirs":["any","any","any"]},{"topic":"first","partition":2,"replicas":[1,0,2],"log_dirs":["any","any","any"]}]}
以上这个内容来自于第二步的执行计划。
(4)执行副本存储计划。
kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --reassignment-json-file increase-replication-factor.json --execute
(5)验证副本存储计划。
kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --reassignment-json-file increase-replication-factor.json --verify
如果不相信添加成功,可以查看first节点的详情:
2 退役旧节点
1)执行负载均衡操作
先按照退役一台节点,生成执行计划,然后按照服役时操作流程执行负载均衡。
(1)创建一个要均衡的主题
kafka下添加文件:vim topics-to-move.json
添加如下内容:
{
"topics": [
{"topic": "abc"}
],
"version": 1
}
(2)创建执行计划。
bin/kafka-reassign-partitions.sh --bootstrap-server bigdata01:9092 --topics-to-move-json-file topics-to-move.json --broker-list "0,1,2" --generate
(3)创建副本存储计划(所有副本存储在 broker0、broker1、broker2 中)。
添加文件: vi increase-replication-factor.json
添加如下代码:
{"version":1,"partitions":[{"topic":"first","partition":0,"replicas":[0,2,1],"log_dirs":["any","any","any"]},{"topic":"first","partition":1,"replicas":[1,0,2],"log_dirs":["any","any","any"]},{"topic":"first","partition":2,"replicas":[2,1,0],"log_dirs":["any","any","any"]}]}
(4)执行副本存储计划
kafka-reassign-partitions.sh --bootstrap-server hadoop11:9092 --reassignment-json-file increase-replication-factor.json --execute
2)执行停止命令
在 bigdata04上执行停止命令即可。
kafka-server-stop.sh