gxg123

摘要： 问题描述：我们知道在spark当中是对RDD进行操作的。所以我们想把数据源当中的数据转化成很多的数据集，这也就是partition的由来。 而我们在将数据转换成RDD之后。我们可以通过设置partition的数量来让计算的效率更高。 首先来看一下官网创建的RDD的描述： 从这段描述当中我们可以看到。 阅读全文

摘要： reducebykey：它的特点是当使用它的时候，这个时候在不同的partition 中的数据会进行简单的combiner。然后再在reduce端进行数据的累加。 groupbykey：当采用它的时候。这个时候他不是对不同的partition中的数据进行combiner。而是直接在最后进行数据的累加 阅读全文