2018年1月8日

Spark RDD——combineByKey

摘要： 为什么单独讲解combineByKey？ 因为combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等 如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为comb 阅读全文

posted @ 2018-01-08 15:04 波比12 阅读(466) 评论(0) 推荐(0) 编辑

Spark RDD中的aggregate函数

摘要： 转载自：http://blog.csdn.net/qingyang0320/article/details/51603243 针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。 首先，Spark文档中aggregate函数定义如 阅读全文

posted @ 2018-01-08 14:59 波比12 阅读(813) 评论(0) 推荐(0) 编辑

导航