rdd相关

RDD(Resilient Distributed Dataset) 弹性分布式数据集

不可变的分布式对象集合，每个RDD被分为多个分区，分区运行在集群中的不同节点上。

1.创建方法：

1）读取外部数据集

2）驱动器程序里分发驱动器程序中的对象集合(list/set)

调用示例:

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

val sc = new SparkContext(conf)

读取外部数据集

lines = sc.textFile("filename")

对集合进行并行化(parallelize)

lines = sc.parallelize(List(1,2,3,4,5))

2.操作类型

1）转化操作(transformation)

由一个RDD生成一个新的RDD

2）行动操作(action)

对RDD计算一个结果，将结果返回到驱动器程序中。

 

基本RDD

1.针对各个元素的转化操作

map()：接收一个函数，将函数用于RDD的每个元素，返回新的RDD以及对应元素的值

filter()：接收一个函数，将RDD中满足该函数的元素放入新的RDD中

val input = sc.parallelize(List(1,2,3,4))

val result = input.map(x=>x*x)

println(result.collect().mkString(","))

常用转化操作:

map():函数构成新的RDD

flatMap():函数用于新的RDD，通常用来切分单词

filter():反馈一个通过传给filter()的函数元素组成的rdd ex: rdd.filter(x=>x!=1)

distinct():去重

sample(withReplacement,fraction,[seed])：对rdd采样

union():生成 一个包含两个rdd中所有元素的rdd，

intersection():求两个rdd共同的元素的rdd

subtract():移除一个rdd中的内容

cartesian():与另一个rdd的笛卡尔积

常用行动操作：

reduce():接受一个函数作为参数，比如累加，方便计算元素总和，元素个数etc

fold():接受一个函数，加上一个初始值作为每个分区第一次调用时的结果

collect():返回rdd中所有元素

count():返回元素个数

countByValue():各元素在rdd中出现的次数

take(num):返num个元素

top(m):返回前m个元素

takeOrdered(num)(ordering):rdd中按提供的顺序返回最前面num个元素

takeSample(withReplacement,num,[seed]).reduct(func):从rdd中任意返回一些元素

aggregate(zeroValue)(seqOp,combOp):类似reduct(),通常返回不同类型的函数 

foreach(func):对rdd中每个元素使用给定的函数

持久化存储:

偌rdd.persist() unpersist()

MEMORY_ONLY

MEMORY_ONLY_SER

MEMORY_AND_DISK

MEMORY_AND_DISK_SER

DISK_ONLY