2016 年 9月 4 日随笔档案 - 单行道|

2016年9月4日

摘要：理解reduceByKey操作，有助于理解Shuffle reduceByKey reduceByKey操作将map中的有相同key的value值进行合并，但是map中的数据键值对，并不一定分布在相同的partition中，甚至相同的机器中。所以需要将数据取到相同的主机进行计算-同地协作。单一t 阅读全文

posted @ 2016-09-04 00:53 单行道| 阅读(1858) 评论(0) 推荐(0) 编辑