1. spark-shell 交互式编程

先下载数据集chapter5-data1.txt,然后将文件上传到Linux系统/home目录下

根据给定的实验数据,在 spark-shell 中通过编程来计算以下内容:

(1)该系总共有多少学生
首先读取文件

以逗号为分隔分词

 

 

 去重操作

 

 取得总数

 

 (2)该系共开设来多少门课程;

 

 (3)Tom 同学的总成绩平均分是多少;

 

 (4)求每名同学的选修的课程门数;

 

 (5)该系 DataBase 课程共有多少人选修;

 

 (6)各门课程的平均分是多少;

 

 (7)使用累加器计算共有多少人选了 DataBase 这门课。

 

Copyright © 2024 ***Pepsi***
Powered by .NET 8.0 on Kubernetes