4.RDD操作

一、 RDD创建

1.从本地文件系统中加载数据创建RDD

 

 

 2.从HDFS加载数据创建RDD

exit（）退出上一步后启动hdfs上传文件且查看文件

 

 

 进入spark加载刚刚传入hdfs的文件

 

 

不使用HDFS了，记得停止hdfs

 

 

 3.通过并行集合（列表）创建RDD

输入列表字符串numpy生成数组

 

 

 二、 RDD操作

1.转换操作

 

 

 

filter(func)

 

 

 map(func)

下面rdd2实行rdd1加10操作

 

 

 flatMap(func)

 

 

groupByKey()

这里用的是输入的键值对来实验groupByKey()等下面的函数操作

 

reduceByKey()

 

 

 sortByKey()词频统计按单词排序

sortBy()词频统计按词频排序

 

 

 2.行动操作