寒假学习9-实验四RDD编程初级实验spark-shell交互式编程

1. spark-shell 交互式编程

先下载数据集chapter5-data1.txt，然后将文件上传到Linux系统/home目录下

根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容：

（1）该系总共有多少学生
首先读取文件

以逗号为分隔分词

 

 

 去重操作

 

 取得总数

 

 （2）该系共开设来多少门课程；

 

 （3）Tom 同学的总成绩平均分是多少；

 

 （4）求每名同学的选修的课程门数；

 

 （5）该系 DataBase 课程共有多少人选修；

 

 （6）各门课程的平均分是多少；

 

 （7）使用累加器计算共有多少人选了 DataBase 这门课。