2023年2月20日
hive数据倾斜优化
摘要： 1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点 2、主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数 阅读全文
posted @ 2023-02-20 05:13 晓枫的春天 阅读(406) 评论(0) 推荐(0) 编辑