会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
One-Way
爱一人,攀一山,追一梦
博客园
首页
博问
闪存
新随笔
订阅
管理
2016年9月4日
Spark--Shuffle
摘要: 理解reduceByKey操作,有助于理解Shuffle reduceByKey reduceByKey操作将map中的有相同key的value值进行合并,但是map中的数据键值对,并不一定分布在相同的partition中,甚至相同的机器中。 所以需要将数据取到相同的主机进行计算-同地协作。 单一t
阅读全文
posted @ 2016-09-04 00:53 单行道|
阅读(1861)
评论(0)
推荐(0)
编辑