2023年8月20日
数据倾斜问题
摘要： ## 数据倾斜的简介 数据倾斜即单个节点任务处理的数据量远高于同类型任务处理的数据量，成为整个作业的性能瓶颈。 本文将从产生数据倾斜的原因、不同计算引擎下的解决方法讨论。 ## 数据倾斜的场景和对应的解决方案 ### Suffle过程 数据倾斜和Suffle过程是密不可分的，Suffle过程在MR和 阅读全文
posted @ 2023-08-20 15:09 nangk 阅读(56) 评论(0) 推荐(0) 编辑