groupbyKey和reducebyKey的区别

reducebyKey会先在本地机器上进行局部聚合，然后在移动数据，进行全局聚合

 

 groupbyKey会先将数据进行移动，再做聚合

 

 

 reducebyKey适合使用在大数据量上

 

posted @ 2019-09-03 17:57  hulifang  阅读(2581)  评论(0)  编辑  收藏  举报