08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。
一、用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比
1.每个分数+5分
2.总共有多少学生?
3.总共开设了哪些课程?
4.每个学生选修了多少门课?
5.每门课程有多少个学生选?
6.每门课程大于95分的学生人数?
7.Tom选修了几门课?
8.每门课多少分?
9.Tom的成绩按分数大小排序
10.Tom的平均分
11.求每门课的平均分,最高分,最低分
12.求每门课的选修人数及平均分,精确到2位小数
13.每门课的不及格人数,通过率结果可视化
二、用SQL语句完成以上数据分析要求
1.每个分数+5分
2.总共有多少学生?
3.总共开设了哪些课程?
4.每个学生选修了多少门课?
5.每门课程有多少个学生选?
6.每门课程大于95分的学生人数?
7.Tom选修了几门课?
8.每门课多少分?
9.Tom的成绩按分数大小排序
10.Tom的平均分
11.求每门课的平均分,最高分,最低分
12.求每门课的选修人数及平均分,精确到2位小数
13.每门课的不及格人数
三、对比分别用RDD操作实现、用DataFrame操作实现和用SQL语句实现的异同。(比较两个以上问题)
四、结果可视化。