yarn的hive作业卡住
01/24晚业务侧反应有一个应该白天完成的作业一直跑到了十点多还没结束,立即检查了yarn监控页面,并未发现资源(包括vcore及队列资源等)不足的情况
查看作业的详细日志,发现作业卡在三点多一直并未更新

查看作业ApplicationMaster,发现mapreduce已经成功跑完,怀疑表有锁

经查看,这个作业插入数据的表有锁, 使用unlock table tablename对表解锁后,该作业仍然卡住

查看主机,将作业相对应的am kill掉,该作业消失,该业务又重新跑了新的作业并顺利完成所有作业,最终该表内插入数据七十多万条,但不清楚是接着跑了还是重新跑,当日数据可能有重复部分,已跟业务建议当天作业重新跑

锁表原因多为操作冲突造成,Hive的锁有两个Lock方式,一个是Shared (S) 共享表,另一个是Exclusive (X) 独享表、排他表,目前正与业务侧排查锁表原因
分类:
hadoop
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)