hbase合并队列超长问题分析
问题现象
hbase集群合并队列超长,有节点上合并任务已经运行超过1天未结束,合并队列总长不断增加。
问题分析
参数配置:
配置参数 | 默认值 | 含义 |
---|---|---|
hbase.hregion.memstore.flush.size | 128M | MemStore达到该值会Flush成StoreFile |
hbase.hregion.memstore.block.multiplier | 4 | 当region中所有MemStore大小超过hbase.hregion.memstore.flush.size*hbase.hregion.memstore.block.multiplier服务则停止写入 |
hbase.hstore.compactionThreshold (hbase.hstore.compaction.min) | 3 | 当一个 Store 中 HFile 文件数量超过该阈值就会触发一次 Compaction(Minor Compaction) |
hbase.hstore.compaction.max | 10 | 一次 Compaction 最多合并的 HFile 文件数量,超过该值的文件会被过滤掉,本次不做Compca |