当前位置: 首页 > article >正文

Federation机制的实现

1.关闭Hadoop的HDFS和YARN,依次执行“stop-yarn.sh”和“stop-dfs.sh”命令关闭Hadoop的YARN和HDFS。

2.删除3台虚拟机上的临时文件:

3.修改hdfs-site.xml配置文件,进入虚拟机liumengting1的/export/servers/hadoop-3.3.4/etc/hadoop目录,在该目录下执行“vi hdfs-site.xml”命令,编辑hdfs-site.xml配置文件,将<configuration></configuration>标签之间的配置信息修改内容如下:

4.分发hdfs_site.xml

5.格式化HDFS文件系统,由于在HDFS中实现了Federation机制分别指定了虚拟机liumengting1和liumengting2运行NameNode,所以需要分别在这两台虚拟机上进行格式化HDFS文件系统的操作。

6.启动Hadoop集群,在虚拟机liumengting1上分别执行“start-dfs.sh”和“start-yarn.sh”命令,启动Hadoop的HDFS和YARN。启动成功后分别再3台虚拟机上执行jps命令,查看每台虚拟机运行的进程:

7.使用不同的NameNode,再某个NameNode创建的目录不会影响其他NameSpace的目录结构,通过子命令dfs的子命令选项-fs手动指定其他NameNode的RPC通信地址:

查看虚拟机liumengting1和liumengting2运行的NameNode管理的NameSpace根目录,命令如下:


http://www.kler.cn/a/470011.html

相关文章:

  • Linux性能优化-系列文章-汇总
  • Flink概念知识讲解之:Restart重启策略配置
  • LabVIEW计算机软件著作权
  • Netron可视化深度学习的模型框架,大大降低了大模型的学习门槛
  • 移动端自动化测试Appium-java
  • nodeJS下npm和yarn的关系和区别详解
  • b612相机 13.5.5解锁会员hook
  • 【A I应用】1.原理入门以及应用方式
  • 『SQLite』SELECT语句查询数据
  • 机器学习基础-线性回归和逻辑回归
  • OpenGl(四) 提升Shader性能--VBO、EBO、VAO之EBO
  • Reactor测试框架之StepVerifier
  • JavaScript语言的编程范式
  • Python爬虫入门指南:从零开始抓取数据
  • Mysql--基础篇--概述
  • 专业无人机飞手培训,考证、组装、调参、维修全面技术详解
  • 网络协议安全
  • NLP论文速读|基于主动检索的渐进多模态推理
  • 【C++】AVL树|插入|单旋|双旋
  • 反向代理模块开发,
  • type1-88
  • python打包open3d问题
  • 尚硅谷· vue3+ts 知识点学习整理 |14h的课程(持续更ing)
  • 如何分析 Nginx 日志
  • 并查集:合并集合
  • (leetcode算法题)137. 只出现一次的数字 II