Harda

2022年2月25日

摘要：一、场景一集群信息： 7台管理节点+51台数据节点 ###此为一套多租户集群问题描述： 4月13 10:30 其中一台数据节点因硬件故障，突然宕机，同时业务出现入库缓慢现象故障检查： hbase hbck ###检查hbase健康情况，结果为:INCONSISTENT,不一致的记录共80条故阅读全文

posted @ 2022-02-25 15:17 Harda 阅读(986) 评论(0) 推荐(0) 编辑

hadoop业务积压分析及处理

摘要：一、现象：2021年5月12日，17:05分，业务处理能量下降，开始积压二、集群指标检查运行脚本检查各项指标，发现2个指标异常如下 1、17点后每个节点出现大量的slow 2、发现每台主机的底层IO等待较高三、问题分析 1、17:05其中一台数据节点磁盘故障，datanode掉线，此节点的数据阅读全文

posted @ 2022-02-25 15:11 Harda 阅读(56) 评论(0) 推荐(0) 编辑

hadoop集群spark作业执行较慢、入库较慢相关问题排查及调优

摘要： 1、反馈业务侧反馈日常进行spark作业跑不动，执行速度特别慢，影响当天任务生成，后续活动执行；主要现象及影响： 1、regionserver频繁挂，日志出现大量gc信息 2、spark类型的作业跑得慢，跟业务一起做测试定位原因，发现主要是hbase get比较耗时 3、标签入库较慢（将数据pu 阅读全文

posted @ 2022-02-25 14:19 Harda 阅读(1052) 评论(0) 推荐(0) 编辑

2022年2月23日

yarn的hive作业卡住

摘要： 01/24晚业务侧反应有一个应该白天完成的作业一直跑到了十点多还没结束，立即检查了yarn监控页面，并未发现资源（包括vcore及队列资源等）不足的情况查看作业的详细日志，发现作业卡在三点多一直并未更新查看作业ApplicationMaster，发现mapreduce已经成功跑完，怀疑表有锁经阅读全文

posted @ 2022-02-23 13:48 Harda 阅读(377) 评论(0) 推荐(0) 编辑

2022年2月22日

Hadoop集群regionserver节点故障

摘要：全触点Hadoop集群出现regionserver频繁掉的现象，大部分掉的都是140的regionserver节点，查看日志后发现两处信息查看相关主机信息并无异常，日志信息显示由于与zk的session超时，查看MaxSessionTimeout、zookeeper.session.timeout 阅读全文

posted @ 2022-02-22 21:28 Harda 阅读(70) 评论(0) 推荐(0) 编辑

HIVE处理速度过慢

摘要： 2019/01/21下午，业务侧反馈hive处理速度过慢，目前所有涉及hive的作业都很慢，影响这些业务不能在正常时间内完成以下实例供参考，在生产环境中运行：在Hive客户端执行select count(*) from tableName; table1中有20w数据，跑了30S出结果； tab 阅读全文

posted @ 2022-02-22 10:25 Harda 阅读(1916) 评论(0) 推荐(0) 编辑

2022年2月21日

hive中drop表效率低

摘要：问题描述: 使用hive时，drop表很慢，一张空表都需要90s左右检查：检查hive日志，无报错信息检查主机资源消耗情况，正常无瓶颈检查mysql日志，无错误提示检查mysql慢日志（slow.log),发现在drop表时，会在元数据库中进行select,并且时间消耗接近于drop表的时阅读全文

posted @ 2022-02-21 22:48 Harda 阅读(728) 评论(0) 推荐(0) 编辑

YARN生产MR异常处理过程

摘要：问题描述：部分mr任务提交较慢，跟踪日志发现，reduce的过程中，进度条还会倒退，如：已经reduce至80%，下一刻会慢慢下降79%，78%... 分析过程： 1、根据日志描述，任务不存在于缓存中 2、查看主机资源利用率情况调nmon查看记录，异常时，主机资源利用率虽然偶尔出现较高的峰值，但阅读全文

posted @ 2022-02-21 22:40 Harda 阅读(110) 评论(0) 推荐(0) 编辑

2022年2月20日

Hbase数据不一致修复

摘要： Region数据不一致是什么一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。 HBCK检查什么 a.集群所有region都被assign，且被deploy到唯一一台regionserver上阅读全文

posted @ 2022-02-20 17:31 Harda 阅读(1999) 评论(0) 推荐(0) 编辑

2021年11月24日

MySQL——pt-online-schema-change工具的使用

摘要：作用：功能为在 alter 操作更改表结构的时候不用锁定表，也就是说执行 alter 的时候不会阻塞写和读取操作常见参数： --alter 指定ALTER 语句，正常的ALTER TABLE TBNAME [ ADD | MODIFY | DROP | ALTER ] COLUMN COLUMN 阅读全文

posted @ 2021-11-24 14:02 Harda 阅读(610) 评论(0) 推荐(0) 编辑

公告