摘要: 参数:(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U) 1. 作用:在kv对的RDD中,,按key将value进行分组合并,合并时,将每个value和初始值作为seq函数的参数,进行计算 阅读全文
posted @ 2019-12-26 14:23 Lucas_zhao 阅读(399) 评论(0) 推荐(0) 编辑
摘要: 1. 参数:(zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U) 2. 作用:aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合,然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。 阅读全文
posted @ 2019-12-26 12:30 Lucas_zhao 阅读(460) 评论(0) 推荐(0) 编辑