当前位置： 首页 > article >正文

hbase集群archive目录过大问题处理

article 2025/3/10 0:29:35

1.问题现象

现场反馈hbase集群/hbase/archive目录过大，大小约为1.52PB

  1. 现场集群已经清理掉2个月以前的snapshot文件，当前archive目录文件仍不能释放
  2. 现场发现1T以上的archive子目录有211个
  3. 查看集群hbase配置，hmaster堆栈大小20GB，hmaster清理周期5分钟
  4. 查看hmaster进程分配内存占用6G上下

问题分析

  1. HMaster内存估算，假如/hbase/archive目录下有1亿个文件，每个文件名的大小为160B，
    则master内存按如下方式估算：
    160 * 1亿/1024/1024/1024 ≈ 15 GB
    目前master内存已使用6G，再加上估算出来的15GB，共21GB，占配置内存百分比为21/24 ≈ 0.85 。因此当扫描所有文件时，内存占用会达到85%，这将导致HMaster频繁GC。因此建议将master内存调大。
    可以将现场集群master内存调整为48G。

  2. 借鉴之前主集群/hbase/archive目录过大的处理经验（500TB），当时HFileCleaner的清理周期调整为30分钟后，基本可以在一个清理周期内完成扫描并清理冗余数据。目前集群共1.52


http://www.kler.cn/a/577856.html

相关文章：

  • 深度学习-143-Text2SQL之基于langchain的少量样本提示词模板FewShotPromptTemplate的应用实战(二)
  • oneinstack 部署 lamp/lnmp
  • 动量法与带阻尼的二阶 ODE：从离散优化到连续动态的奇妙联系
  • 力扣热题 100：二叉树专题进阶题解析（后7道）
  • C++从入门到精通系列教程之第十篇：异常处理与调试技巧
  • 车载以太网测试-3【Wireshark介绍】
  • LINUX网络基础 [五] - HTTP协议
  • LeetCode 热题 100_字符串解码（71_394_中等_C++）（栈）
  • 腾讯云短信
  • 【Python机器学习】1.8. 逻辑回归实战(基础)：建立一阶边界模型、画分类散点图、逻辑回归模型的代码实现、可视化决策边界
  • PHP之特性
  • Ae 效果详解：VR 降噪
  • LeetCode 538.把二叉搜索树转换为累加树
  • Java直通车系列13【Spring MVC】（Spring MVC常用注解）
  • 【Java开发指南 | 第三十五篇】Maven + Tomcat Web应用程序搭建
  • java后端开发day27--常用API（二）正则表达式爬虫
  • 李宏毅机器学习课程笔记05 | 卷积神经网络Convolutional Neural Network(CNN)
  • 目标追踪综述
  • 8. 机器人模型训练与评估（具身智能机器人套件）
  • selenium库工作原理