Federation机制的实现
1.关闭Hadoop的HDFS和YARN,依次执行“stop-yarn.sh”和“stop-dfs.sh”命令关闭Hadoop的YARN和HDFS。
2.删除3台虚拟机上的临时文件:
3.修改hdfs-site.xml配置文件,进入虚拟机liumengting1的/export/servers/hadoop-3.3.4/etc/hadoop目录,在该目录下执行“vi hdfs-site.xml”命令,编辑hdfs-site.xml配置文件,将<configuration></configuration>标签之间的配置信息修改内容如下:
4.分发hdfs_site.xml
5.格式化HDFS文件系统,由于在HDFS中实现了Federation机制分别指定了虚拟机liumengting1和liumengting2运行NameNode,所以需要分别在这两台虚拟机上进行格式化HDFS文件系统的操作。
6.启动Hadoop集群,在虚拟机liumengting1上分别执行“start-dfs.sh”和“start-yarn.sh”命令,启动Hadoop的HDFS和YARN。启动成功后分别再3台虚拟机上执行jps命令,查看每台虚拟机运行的进程:
7.使用不同的NameNode,再某个NameNode创建的目录不会影响其他NameSpace的目录结构,通过子命令dfs的子命令选项-fs手动指定其他NameNode的RPC通信地址:
查看虚拟机liumengting1和liumengting2运行的NameNode管理的NameSpace根目录,命令如下: