1.13学习总结：键值对RDD

一、学习视频

https://www.bilibili.com/video/BV1oE411s7h7?p=31

二、键值对RDD的创建

使用map()函数，将读取的数据分割成键值对的形式

三、常用键值对RDD转换操作

1.reduceByKey(func)　

　　使用func函数合并具有相同键的值

　　

2.groupByKey()

　　对具有相同键的值进行分组

　　

　　

 

3.keys()

　　把pairRDD中的key返回形成一个新的RDD

　　

 

 4.values()

　　把pairRDD中的value返回形成一个新的RDD

5.sortByKey()

　　返回一个根据键排序的RDD,默认参数True，按照升序排序，参数为False，按照降序排序

6.sortBy()

　　

7.mapValues(func)

　　对键值对中的每个value应用一个函数，key不变

　　

 

 8.join()

　　内连接，对于两个输入的（K1,V1),(K2,V2）只有两个键值对Key相同才输出，输出为(K,(V1,V2))的数据类型