当前位置: 首页 > article >正文

HDFS黑名单退役服务器

黑名单:表示在黑名单的主机IP地址不可以,用来存储数据。

企业中:配置黑名单,用来退役服务器。

黑名单配置步骤如下:

 1)编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

添加如下主机名称(要退役的节点)

hadoop105

注意:如果黑名单中没有配置,需要在hdfs-site.xml配置文件中增加dfs.hosts配置参数

<!-- 黑名单 -->

<property>

     <name>dfs.hosts.exclude</name>

     <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>

</property>

 2)分发配置文件blacklisthdfs-site.xml

xsync hdfs-site.xml blacklist

 3)第一次添加黑名单必须重启集群,不是第一次,只需要刷新NameNode节点即可

hdfs dfsadmin -refreshNodes

4)检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点

 

 5)等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役

hdfs --daemon stop datanode

yarn --daemon stop nodemanager

6)如果数据不均衡,可以用命令实现集群的再平衡

sbin/start-balancer.sh -threshold 10


http://www.kler.cn/a/168.html

相关文章:

  • 00000008_C并发编程与多线程
  • Rust 中调用 Drop 的时机
  • Personal APP
  • 【线性代数】通俗理解特征向量与特征值
  • maven的简单介绍
  • 【算法】字符串算法技巧系列
  • 2023年再不会Redis,就要被淘汰了
  • 【算法】六大排序 插入排序 希尔排序 选择排序 堆排序 冒泡排序 快速排序
  • 【AcWing】蓝桥杯备赛-深度优先搜索-dfs(2)
  • 【Java版oj】day08两种排序方法、最小公倍数
  • 11.落地:微服务架构灰度发布方案
  • Android 架构之长连接技术
  • 写给20、21级学生的话
  • chatgpt这么火?前端如何实现类似chatgpt的对话页面
  • CANoe-Start Values窗口是做什么的
  • JavaScript的事件传播机制
  • 【Docker】Docker安装Jenkins一键自动化部署SpringBoot项目使用详解
  • 总结:电容在电路35个基本常识
  • 【Python】控制自己的手机拍照,并自动发送到邮箱
  • YOLOv7、YOLOv5改进之打印热力图可视化:适用于自定义模型,丰富实验数据
  • ChatGPT研究分享:机器第一次开始理解人类世界
  • 博客系统(界面设计)
  • Windows server——部署DNS服务(3)
  • 2022年全国职业院校技能大赛(中职组)网络安全竞赛试题A模块第三套解析教程(详细)
  • SpringBean管理
  • class03:MVVM模型与响应式原理