摘要: 问题描述: 使用hive时,drop表很慢,一张空表都需要90s左右 检查: 检查hive日志,无报错信息 检查主机资源消耗情况,正常无瓶颈 检查mysql日志,无错误提示 检查mysql慢日志(slow.log),发现在drop表时,会在元数据库中进行select,并且时间消耗接近于drop表的时 阅读全文
posted @ 2022-02-21 22:48 Harda 阅读(728) 评论(0) 推荐(0) 编辑
摘要: 问题描述: 部分mr任务提交较慢,跟踪日志发现,reduce的过程中,进度条还会倒退,如:已经reduce至80%,下一刻会慢慢下降79%,78%... 分析过程: 1、根据日志描述,任务不存在于缓存中 2、查看主机资源利用率情况 调nmon查看记录,异常时,主机资源利用率虽然偶尔出现较高的峰值,但 阅读全文
posted @ 2022-02-21 22:40 Harda 阅读(110) 评论(0) 推荐(0) 编辑