当前位置: 首页 > article >正文

10. Hbase Compaction命令

一. 什么是Compaction

在 HBase 中,频繁进行数据插入、更新和删除操作会生成许多小的 HFile,当 HFile 数量增多时,会影响HBase的读写性能。此外,垃圾数据的存在也会增加存储需求。因此,定期进行 Compact操作,可以有效地提升HBase系统的性能,减少存储空间。

在HBase中,Compaction主要有两种类型:

  • Minor Compaction:将多个小的HFiles合并成一个较大的HFile,不会删除过期和标记为删除的数据。
  • Major Compaction:将所有 HFiles 合并,会清理掉在HBase中标记为删除的数据,一般比较费时。可能会对RegionServer的CPU和IO造成较大的压力
二. Compaction实操

HBase表中已经存在一个名为dns_message, 数据量为1亿多条。想对其进行手动 Minor Compaction,可以执行下面的命令:

hbase:010:0> compact 'dns_message'
Took 0.1019 seconds

如果你想执行Major Compaction,可以使用 major_compact 命令。

hbase:011:0> major_compact 'dns_message'
Took 0.0880 seconds

这时Major Compaction会启动后台任务,相关信息可以在Habse WebUI页面上查看
在这里插入图片描述

同时查看RegionServer所占资源的情况
在这里插入图片描述
在这里插入图片描述

通过以上可以说明Major Compaction确实是一个高负载的操作,因此在生产建议关闭自动Major Compaction,在系统负载较低的时候,选择手动进行合并。


http://www.kler.cn/a/545477.html

相关文章:

  • 34.Qt使用回调函数
  • 财务主题数据分析-企业盈利能力分析
  • 人工智能时代下ai智能语音机器人如何以假乱真?
  • Oracle DBA 诊断及统计工具-1
  • Navicat导入海量Excel数据到数据库(简易介绍)
  • 前端IndexedDB使用教程
  • AI成为基础设施有哪些研究方向:模型的性能、可解释性,算法偏见
  • 数据操作与事务:确保数据一致性的关键
  • 接口自动化框架篇:框架中的数据流转处理!
  • Mac 下使用多版本 Node
  • [RabbitMQ] RabbitMQ常见面试题
  • AI代理软件行业白皮书
  • [Spring] Spring常见面试题
  • webstorm 右下角git分支组件不显示如何恢复
  • DeepSeek解决服务器繁忙,使用API接口进行使用
  • 如何部署Deepseek-R1:从零开始的完整指南
  • 【线性代数】1行列式
  • Ansible内置模块之file
  • 实现pytorch注意力机制-one demo
  • 【ISO 14229-1:2023 UDS诊断全量测试用例清单系列:第七节】