2019年3月12日
【Spark调优】：如果实在要shuffle，使用map侧预聚合的算子
摘要： 因业务上的需要，无可避免的一些运算一定要使用shuffle操作，无法用map类的算子来替代，那么尽量使用可以map侧预聚合的算子。 map侧预聚合，是指在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combine。map-side预聚合之后，每个节点本地就只会有一条相 阅读全文
posted @ 2019-03-12 08:55 wwcom123 阅读(1161) 评论(0) 推荐(0) 编辑