摘要:
一、场景一 集群信息: 7台管理节点+51台数据节点 ###此为一套多租户集群 问题描述: 4月13 10:30 其中一台数据节点因硬件故障,突然宕机,同时业务出现入库缓慢现象 故障检查: hbase hbck ###检查hbase健康情况,结果为:INCONSISTENT,不一致的记录共80条 故 阅读全文
摘要:
一、现象:2021年5月12日,17:05分,业务处理能量下降,开始积压 二、集群指标检查 运行脚本检查各项指标,发现2个指标异常如下 1、17点后每个节点出现大量的slow 2、发现每台主机的底层IO等待较高 三、问题分析 1、17:05其中一台数据节点磁盘故障,datanode掉线,此节点的数据 阅读全文
摘要:
1、反馈 业务侧反馈日常进行spark作业跑不动,执行速度特别慢,影响当天任务生成,后续活动执行; 主要现象及影响: 1、regionserver频繁挂,日志出现大量gc信息 2、spark类型的作业跑得慢,跟业务一起做测试定位原因,发现主要是hbase get比较耗时 3、标签入库较慢(将数据pu 阅读全文