05 RDD编程
按字母顺序排序 sortBy(f)
按词频排序 sortByKey()
二、学生课程分数案例
- 总共有多少学生?map(), distinct(), count()
- 开设了多少门课程?
- 每个学生选修了多少门课?map().countByValue() //map(), countByKey()
- 每门课程有多少个学生选?map(), countByValue()
- Tom选修了几门课?每门课多少分?filter(), map() RDD
- Tom选修了几门课?每门课多少分?map(),lookup() list
-
生成(课程,分数)RDD,观察keys(),values()
.每个分数+5分。mapValues(func)
.求每门课的选修人数及所有人的总分。combineByKey()
.求每门课的选修人数及平均分,精确到2位小数。map(),round()
.求每门课的选修人数及平均分。用reduceByKey()实现,并比较与combineByKey()的异同。
combineByKey是一个相对底层的基于键进行聚合的基础方法,大多数基于键聚合的方法,例如reduceByKey,groupByKey都是用它实现的。