2020年3月22日
开发性能调优之数据倾斜调优
摘要： 开发性能调优之数据倾斜调优 一、数据倾斜原因 常见表现：在hive中 map阶段早就跑完了，reduce阶段一直卡在99%。很大情况是发生了数据倾斜，整个任务在等某个节点跑完。 在spark中大部分的task执行的特别快，剩下的一些task执行的特别慢，要几分钟或几十分钟才执行完一个task Hive中大表join的时候，容易 阅读全文
posted @ 2020-03-22 20:32 Mr·Li程序员 阅读(384) 评论(0) 推荐(0) 编辑