Hadoop HA高可用搭建
Hadoop HA高可用搭建
原理说明
这个步骤不用做，目前大数据虚拟机已经配置好了！
echo 'DNS1=8.8.8.8' >> /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
ping www.baidu.com
安装软件
node1/node2/node3：
yum install psmisc -y # 增加kill命令 => kill -9 进程id，可以杀死所有相关进程 => 还可以使用killall命令
备份hadoop安装信息
node1/node2/node3：
cd
stop-all.sh
tar -cvf hadoop.tar /export/server/hadoop-3.3.0
-cvf ：打包（没有压缩），添加了-z压缩
-c：打包
-vf：显示执行进度
删除原有数据文件（搭建服务时执行）
node1/node2/node3：
rm -rf /export/data/hadoop-3.3.0
修改配置文件（重点）
以下配置只需要在node1上完成，完成后拷贝到node2/node3：
cd /export/server/hadoop-3.3.0/etc/hadoop
- 修改hadoop-env.sh
# 在文件最后添加下面两行
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
- 修改core-site.xml
<configuration>
<!-- HA集群名称，该值要和hdfs-site.xml中的配置保持一致 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>
<!-- hadoop本地磁盘存放数据的公共目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/data/ha-hadoop</value>
</property>
<!-- ZooKeeper集群的地址和端口-->
<property>
<name>ha.zookeeper.quorum</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>
</configuration>
注意：在一个XML文件中，只能有一个
- 修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为cluster1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>
<!-- cluster1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.cluster1.nn1</name>
<value>node1:8020</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.cluster1.nn1</name>
<value>node1:9870</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.cluster1.nn2</name>
<value>node2:8020</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.cluster1.nn2</name>
<value>node2:9870</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node1:8485;node2:8485;node3:8485/cluster1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/export/data/journaldata</value>
</property>
<!-- 开启NameNode故障自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
- 修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node2</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
注意: 将hadoop配置信息拷贝到node2和node3
注意: 将hadoop配置信息拷贝到node2和node3
注意: 将hadoop配置信息拷贝到node2和node3
cd /export/server/hadoop-3.3.0/etc
scp -r hadoop node2:$PWD
scp -r hadoop node3:$PWD
启动（注意顺序以及启动机器）
-
启动zk
zkServer.sh start（配置了环境变量，直接启动，没有配置则进入Zookeeper的bin目录，手工启动）
node1/node2/node3:
cd /export/server/zookeeper bin/zkServer.sh start -
启动journalnode(node1/node2/node3)
hdfs --daemon start journalnode注意：journalnode启动完毕后，一定要等待8485端口被java进程所占用然后在执行下方操作！！！
netstat -naltp |grep 8485 -
初始化namenode 注意:node1上执行
hdfs namenode -format- 将数据文件拷贝到node2相同目录(node2上也有namenode节点)
cd /export/data scp -r ha-hadoop node2:$PWD -
初始化zkfc 注意在node1上执行
hdfs zkfc -formatZK -
启动服务
hdfs --daemon stop journalnode => node1/node2/node3 start-all.sh => node1
常见问题
① 如果node2中namenode角色没有启动
答：手工启动 => hdfs --daemon start namenode
注意：如果手工启动有异常，一定要进入logs目录，查看错误原因
② Web界面无法上传文件
答：修改权限即可# hadoop fs -chmod -R 777 /
③ node1:9870或者node2:9870某台机器无法阅读文件列表
答：不是错误，是因为当前你可能处于了standby备机，切换到另一个节点即可。因为对外提供服务器时，只有一个namenode处于工作状态。
若有错误与不足请指出，关注DPT一起进步吧！！！