hadoop业务积压分析及处理
一、现象:2021年5月12日,17:05分,业务处理能量下降,开始积压
二、集群指标检查
运行脚本检查各项指标,发现2个指标异常如下
1、17点后每个节点出现大量的slow
2、发现每台主机的底层IO等待较高
三、问题分析
1、17:05其中一台数据节点磁盘故障,datanode掉线,此节点的数据会自动复制到剩余的数据节点,因此加大了底层IO读写
2、五一后业务量增加了20%(业务并未告知)
3、 17:00-19:00为业务最繁忙的时候
四、结论
原本集群底层IO就繁忙的大前提下(五一前底层IO也有少许等待,但并不影响业务,更主要的是用户坚持不扩容),再根据以上3点加剧了底层IO等待
五、临时解决方案
1、尽快更换磁盘,重启datanode
2、等待底层datanode完成数据回流
注:20:20完成磁盘更换,预计21:20左右完成数据回流,此时底层IO等待已降低,业务恢复
六、解决方案
1、 整理扩容需求量
2、再次提出扩容需求