摘要: 函数签名 def foldByKey(zeroValue: V)(func: (V, V) => V): RDD[(K, V)] 函数说明 当分区内计算规则和分区间计算规则相同时,aggregateByKey 就可以简化为 foldByKey val dataRDD1 = sparkContext. 阅读全文
posted @ 2022-02-22 14:16 青竹之下 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 函数签名 def aggregateByKey[U: ClassTag](zeroValue: U)(seqOp: (U, V) => U, combOp: (U, U) => U): RDD[(K, U)] 函数说明 将数据根据不同的规则进行分区内计算和分区间计算 val dataRDD1 = s 阅读全文
posted @ 2022-02-22 14:13 青竹之下 阅读(37) 评论(0) 推荐(0) 编辑