Spark RDD学习
RDD(弹性分布式数据集)是Spark的核心抽象。它是一组元素，在集群的节点之间进行分区，以便我们可以对其执行各种并行操作。
创建RDD的两种方式：
- 并行化驱动程序中的现有数据；
- 引用外部存储系统中的数据集。
并行化集合
要创建并行化集合，在驱动程序中现有的集合上调用
SparkContext的parallelize方法。复制集合的每个元素以形成可以并行操作的分布式数据集。%Spark
val info=Array(1,2,3,4) val distInfo=sc.parallelize(info)
%操作分布式数据集 distinfo.reduce((a, b) => a + b)
外部数据集
在Spark中，可以从Hadoop支持的任何类型的存储源(如HDFS，Cassandra，HBase甚至本地文件系统)创建分布式数据集。Spark 支持文本文件(text files)，SequenceFiles 和其他 Hadoop InputFormat。
SparkContext的textFile方法可用于创建RDD的文本文件。此方法获取文件的URI(本地路径或hdfs://,s3n://等)并读取文件的数据，将文件读取成一个行集合。
一旦创建完成，distFiile 就能做数据集操作。例如，我们可以用下面的方式使用 map 和 reduce 操作将所有行的长度相加：distFile.map(s => s.length).reduce((a, b) => a + b)。
RDD的两种操作：
- 转换
- 行动
转换：在Spark中，转换的作用是从现有数据集创建新数据集。转换是惰性的，因为它们仅在动作需要将结果返回到驱动程序时才计算。
map(func)- 它返回一个新的分布式数据集， 该数据集是通过函数func传递源的每个元素而形成的。filter(func)- 它返回一个新数据集， 该数据集是通过选择函数func返回true的源元素而形成的。
flatMap(func)- 每个输入项可以映射到零个或多个输出项， 因此函数func应该返回序列而不是单个项。mapPartitions(func)- 它类似于map，但是在RDD的每个分区(块)上单独运行， 因此当在类型T的RDD上运行时，func必须是Iterator <T> => Iterator <U>类型。mapPartitionsWithIndex(func)- 它类似于mapPartitions，它为func提供了一个表示分区索引的整数值，因此当在类型T的RDD上运行时，func必须是类型(Int，Iterator <T>)=> Iterator <U>。sample(withReplacement, fraction, seed)- 它使用给定的随机数生成器种子对数据的分数部分进行采样，有或没有替换。union(otherDataset)- 它返回一个新数据集，其中包含源数据集和参数中元素的并集。intersection(otherDataset)- 它返回一个新的RDD，其中包含源数据集和参数中的元素的交集。distinct([numPartitions]))- 它返回一个新数据集，其中包含源数据集的不同元素。groupByKey([numPartitions])- 当在(K，V)对的数据集上调用时，它返回(K，Iterable)对的数据集。reduceByKey(func, [numPartitions])- 当调用(K，V)对的数据集时，返回(K，V)对的数据集，其中使用给定的reduce函数func聚合每个键的值，该函数必须是类型(V，V)=>V。aggregateByKey(zeroValue)(seqOp, combOp, [numPartitions])- 当调用(K，V)对的数据集时，返回(K，U)对的数据集，其中使用给定的组合函数和中性“零”值聚合每个键的值。sortByKey([ascending], [numPartitions])- 它返回按键按升序或降序排序的键值对的数据集，如在布尔ascending参数中所指定。join(otherDataset, [numPartitions])-当调用类型(K，V)和(K，W)的数据集时，返回(K，(V，W))对的数据集以及每个键的所有元素对。通过leftOuterJoin，rightOuterJoin和fullOuterJoin支持外连接。cogroup(otherDataset, [numPartitions])-当调用类型(K，V)和(K，W)的数据集时，返回(K，(Iterable，Iterable))元组的数据集。此操作也称为groupWith。cartesian(otherDataset)-当调用类型为T和U的数据集时，返回(T，U)对的数据集(所有元素对)。pipe(command, [envVars])-通过shell命令管道RDD的每个分区，例如， 一个Perl或bash脚本。coalesce(numPartitions)-它将RDD中的分区数减少到numPartitions。repartition(numPartitions)-它随机重新调整RDD中的数据，以创建更多或更少的分区，并在它们之间进行平衡。repartitionAndSortWithinPartitions(partitioner)- 它根据给定的分区器对RDD进行重新分区，并在每个生成的分区中键对记录进行排序。
行动：在Spark中，操作的作用是在对数据集运行计算后将值返回给驱动程序。
- reduce(func)：它使用函数func(它接受两个参数并返回一个)来聚合数据集的元素。该函数应该是可交换的和关联的，以便可以并行正确计算。
- collect()：它将数据集的所有元素作为数组返回到驱动程序中。在过滤器或其他返回足够小的数据子集的操作之后，这通常很有用。
count()：它返回数据集中的元素数。first()它返回数据集的第一个元素(类似于take(1))take(n)它返回一个包含数据集的前n个元素的数组。-
takeSample(withReplacement, num, [seed])它返回一个数组，其中包含数据集的num个元素的随机样本，有或没有替换，可选地预先指定随机数生成器种子。 takeOrdered(n, [ordering])它使用自然顺序或自定义比较器返回RDD的前n个元素。- saveAsTextFile(path)：它用于将数据集的元素作为文本文件(或文本文件集)写入本地文件系统，HDFS或任何其他Hadoop支持的文件系统的给定目录中。
- saveAsSequenceFile(path)：它用于在本地文件系统，HDFS或任何其他Hadoop支持的文件系统中的给定路径中将数据集的元素编写为Hadoop SequenceFile。
- saveAsObjectFile(path)：它用于使用Java序列化以简单格式编写数据集的元素，然后可以使用
SparkContext.objectFile()加载。 - countByKey()：它仅适用于类型(K，V)的RDD。因此，它返回(K，Int)对的散列映射与每个键的计数。
- foreach(func)：它在数据集的每个元素上运行函数
func以获得副作用，例如更新累加器或与外部存储系统交互。
