08 学生课程分数的Spark SQL分析

读学生课程分数文件chapter4-data01.txt,创建DataFrame。

一、用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比

1.每个分数+5分

2.总共有多少学生?

3.总共开设了哪些课程?

4.每个学生选修了多少门课?

5.每门课程有多少个学生选?

 

6.每门课程大于95分的学生人数?

7.Tom选修了几门课?

8.每门课多少分?

 

9.Tom的成绩按分数大小排序

10.Tom的平均分

11.求每门课的平均分,最高分,最低分

 

12.求每门课的选修人数及平均分,精确到2位小数

13.每门课的不及格人数,通过率结果可视化

二、用SQL语句完成以上数据分析要求 

1.每个分数+5分

2.总共有多少学生?

 

3.总共开设了哪些课程?

 

4.每个学生选修了多少门课?

5.每门课程有多少个学生选?

6.每门课程大于95分的学生人数?

7.Tom选修了几门课?

8.每门课多少分?

9.Tom的成绩按分数大小排序

10.Tom的平均分

11.求每门课的平均分,最高分,最低分

12.求每门课的选修人数及平均分,精确到2位小数

13.每门课的不及格人数

三、对比分别用RDD操作实现、用DataFrame操作实现和用SQL语句实现的异同。(比较两个以上问题)

四、结果可视化。

posted @ 2021-05-19 00:20  少吃外卖  阅读(79)  评论(0编辑  收藏  举报