HBase compact队列暴增已经达到1万多了 求高手

时间:2021-10-21 13:40:45
hbase压缩队列从上个周末开始就一直开始逐渐增长,平均一天涨个几千目前已经破1万大关了.
CDH的报警阀指才只有10而已 现在都1万了 已经吓尿了
因为这个超高的压缩队列在  随机抽查的region已经平均有15个hfile了  一旦达到20  就无法刷新到磁盘了...

查看日志发现其一直在compact一个大小为561b 的hfile   合并完成后提示这个hfile租约过期删除它 然后又出现一个561b大小的hfile
并且一直是在同一个region下发生的.其他region没问题
尝试重启这个regionserver  不重启还好 一重启  5台regionserver全部都出现这个问题了
每个regionserver上总有一个region出现上述问题.
同时发现可能和hbase 的  bloom filter有关


以下是日志截图:
HBase compact队列暴增已经达到1万多了 求高手

可以看出  一直是同一个region    然后合并561b大小的hfile 然后删除他  然后bloom filter报出类型不匹配的问题


求高手支招多谢了

1 个解决方案

#1


HBase compact队列暴增已经达到1万多了 求高手


high high high  hand   where are you.

#1


HBase compact队列暴增已经达到1万多了 求高手


high high high  hand   where are you.