会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
java/Java
Pyton
大数据
Hadoop
Spark
zzzzMing -大数据技术
蟹六跪而二螯,非蛇鳝之,无可寄托者,用心躁也
博客园
首页
新随笔
联系
订阅
管理
2018年10月28日
spark RDD,reduceByKey vs groupByKey
摘要: Spark中有两个类似的api,分别是reduceByKey和groupByKey。这两个的功能类似,但底层实现却有些不同,那么为什么要这样设计呢?我们来从源码的角度分析一下。 先看两者的调用顺序(都是使用默认的Partitioner,即defaultPartitioner) 所用spark版本:s
阅读全文
posted @ 2018-10-28 21:56 zzzzMing
阅读(1412)
评论(0)
推荐(0)
编辑
公告