2022年12月22日
记录hive一次数据倾斜问题的解决以及思考总结
摘要： 解决数据倾斜是大数据开发中比较重要的能力，这个现象指的是分布式集群中，由于数据分发的不当，导致某个节点要处理的错误过多，导致整个计算机任务迟迟结束不了，甚至可能节点出现OOM使得任务失败 处理数据倾斜的第一步就是定位到数据倾斜的位置以及理清数据倾斜的原因 这次数据倾斜模拟的是大key，也就是某个ke 阅读全文
posted @ 2022-12-22 23:56 不要给我歪！ 阅读(39) 评论(0) 推荐(0) 编辑