当前位置： 首页 > article >正文

hdfs balancer 指定节点做负载均衡

article 2024/12/29 7:36:22
  1. hdfs集群经过两年多的运行，datanode节点间数据存储有差异，因此需要做负载均衡
  2. 命令及解读
    1.   设置数据传输的带宽 
      hdfs dfsadmin -setBalancerBandwidth 104857600
    2. 指定在datanode sdw4,sdw7,sdw8节点间做负载均衡，允许数据量相差5% 
      hdfs balancer -policy datanode -include sdw4,sdw7,sdw8  -threshold 5
    3. 注意
      1. 最好是找一个datanode节点执行hdfs balancer命令。
      2. 常用参数：- policy 指定负载均衡是在datanode之间还是内部；-threshold是负载均衡单位间允许多少数据量差异；-include在哪些节点间执行（exclude不在哪些节点间执行）；-source指定把哪个节点数据减少（给另外的节点）
  3. 执行结果


http://www.kler.cn/a/456066.html

相关文章：

  • 基于Bregman的交替方向乘子法
  • Nginx区分PC端和移动端访问
  • 汇编学习笔记
  • 音视频入门基础：MPEG2-PS专题（2）——使用FFmpeg命令生成ps文件
  • 深入解析MySQL索引结构：从数组到B+树的演变与优化
  • C++--------继承
  • MySQL数据库的索引
  • 关于Nginx
  • Docker 常用总结
  • 深度学习笔记（4）——视频理解
  • PyQt实战——实现可视化音频播放器（十三）
  • 【LeetCode】839、相似字符串组
  • Cursor提示词
  • 【人工智能机器学习基础篇】——深入详解监督学习之回归与分类：理解线性回归、逻辑回归、支持向量机（SVM）、决策树、随机森林、梯度提升机（GBM）等算法
  • C语言勘破之路-最终篇 —— 预处理(下)
  • [文献阅读]ReAct: Synergizing Reasoning and Acting in Language Models
  • 1.FAISS与Langchain整合，搭配大模型实现本地知识库问答
  • 安卓执法仪Android接入国标GB28181平台实现实时监控、对讲、报警、定位等管理方案
  • 深度解析软件抽象：拨开层层迷雾，直击本质
  • JAVA 查询对象大小 查询当前JVM堆内存
  • 【智能制造-50】雅可比矩阵在机器人中如何应用
  • 使用Excel制作通达信自定义外部数据，安排！！！
  • AWTK 在全志 tina linux 上支持 2D 图形加速
  • @Scheduled注解的使用-SpringBoot-Springtask
  • 动态规划简介：爱的初体验
  • TCP 和 UDP 的区别：解析网络传输协议