aggregate
aggregate 是比较常用的 行动 操作,不是很好懂,这里做个解释。
aggregate(zeroValue, seqOp, combOp)
zeroValue 是一个初始值,自己根据实际情况进行设定;
首先我们知道 RDD 是被分区,然后并行操作的;
seqOp 是对每个分区进行聚合,每个分区聚合结果作为 combOp 的输入;
combOp 对分区聚合结果再次进行聚合;
seqOp 和 combOp 必须有且仅有2个参数
示例如下
seqOp:
把初始值设为 0,累加就是求和
把初始值设为 0,每次加1就是计数;然后 迭代 初始值
combOp:
每个分区的聚合结果为两部分(sum,count)
在初始值的基础上,把每个分区的 sum 相加,count 相加
迭代初始值
seqOp = (lambda x, y: (x[0] + y, x[1] + 1)) ## x 为 初始值,y 是 list 中的单个元素 combOp = (lambda x, y: (x[0] + y[0], x[1] + y[1])) ## x 为 初始值,y 是 seqOp 单个分区的聚合结果 sc.parallelize([1, 2, 3, 4]).aggregate((0, 0), seqOp, combOp) # (10, 4) ## 初始值变成 (3, 0), 分一个区,seqOp 聚合结果加 3, combOp 聚合结果加 3, 总共加 6,即 16 sc.parallelize([1, 2, 3, 4], 1).aggregate((3, 0), seqOp, combOp) # (16, 4) ## 初始值变成 (3, 0), 分两个区,seqOp 每个分区聚合结果加 3,共加 6,combOp 聚合结果加 3, 总共加 9,即 19 sc.parallelize([1, 2, 3, 4], 2).aggregate((3, 0), seqOp, combOp) # (19, 4) sc.parallelize([1, 2, 3, 4], 4).aggregate((3, 0), seqOp, combOp) # (25, 4) sc.parallelize([1, 2, 3, 4]).aggregate((3, 0), seqOp, combOp) # 如果不写分区,默认为 cpu 核数个分区,即 4 核就分 4 个区
计算过程如下
aggregate 是针对 序列 进行操作的,还有一个 aggregateByKey 是针对 (key - value 对) 中的 key 进行 aggregate 操作的