2017年9月8日
Spark aggregateByKey函数
摘要： aggregateByKey与aggregate类似，都是进行两次聚合，不同的是后者只对分区有效，前者对分区中key进一步细分 def aggregateByKey[U: ClassTag](zeroValue: U, partitioner: Partitioner) (seqOp: (U, V) 阅读全文
posted @ 2017-09-08 16:19 疯狂摇头的青蛙 阅读(1683) 评论(0) 推荐(0) 编辑
spark aggregate函数
摘要： aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U 阅读全文
posted @ 2017-09-08 15:31 疯狂摇头的青蛙 阅读(674) 评论(0) 推荐(0) 编辑