1. spark-shell 交互式编程
先下载数据集chapter5-data1.txt,然后将文件上传到Linux系统/home目录下
根据给定的实验数据,在 spark-shell 中通过编程来计算以下内容:
(1)该系总共有多少学生
首先读取文件
以逗号为分隔分词
去重操作
取得总数
(2)该系共开设来多少门课程;
(3)Tom 同学的总成绩平均分是多少;
(4)求每名同学的选修的课程门数;
(5)该系 DataBase 课程共有多少人选修;
(6)各门课程的平均分是多少;
(7)使用累加器计算共有多少人选了 DataBase 这门课。