4 pyspark学习---RDD

开始新的东西，其实很多操作在第二篇的时候就有所介绍啦。在这里继续学习一遍加深一下印象。

1关于RDD

(1) RDD-----Resilient Distributed Dataset，弹性分布式数据集。这些元素在多个节点上运行和操作，以便在集群上进行并行处理。

(2)RDD是弹性得。

比如map操作，可以拆分成对数据块得直接计算而不涉及其他节点。这样得操作只是在一个节点上面直接得操作，不会影响RDD得操作。但是也有比如groupBy，在不完全知道每个key得分布得时候，必须遍历RDD所有得数据块，然后将相同得key汇聚。

(2)转换----->行动 

转换操作比如Fileter groupBy，map等

行动操作比如collect

2 例子

# coding:utf-8
from pyspark import SparkContext, SparkConf
from operator import add
sc = SparkContext()

words = sc.parallelize (
   ["scala",
   "java",
   "hadoop",
   "spark",
   "akka",
   "spark vs hadoop",
   "pyspark",
   "pyspark and spark"]
)
#输出rdd元素个数count
counts = words.count()
print counts

#输出所有得元素collect
print 'elements in RDD->%s'%(words.collect())

#输出满足条件得元素foreach
def f(x):print(x)
fore = words.foreach(f)

#返回新的RDD 满足相应得条件 filter
words_filter = words.filter(lambda x: 'spark' in x).collect()
print words_filter
#返回新的RDD 满足相应得条件 map value都为1
words_map = words.map(lambda x: (x,1))

#reduce 引入add
nums = sc.parallelize([1,2,3,4,5])
adding = nums.reduce(add)#15

#cache 持久RDD 判断是否是持久
print words.persist().is_cached

好了 加油！