8. SparkSQL综合作业
网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图；
分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析:
一、DataFrame操作
创建RDD，转换DataFram
1、总共有多少学生？
2.总共开设了多少门课程？
3.每个学生选修了多少门课？
4.每门课程有多少个学生选？
5.每门课程>95分的学生人数
6.课程'Python'有多少个100分？
7.Tom选修了几门课？每门课多少分？
8.Tom的成绩按分数大小排序。
9.Tom选修了哪几门课？
10.Tom的平均分。
11.'OperatingSystem'不及格人数
12.'OperatingSystem'平均分
13.'OperatingSystem'90分以上人数
14.'OperatingSystem'前3名
15.每个分数按比例+20平时分。
16.求每门课的平均分
17.选修了7门课的有多少个学生？
18.每门课大于95分的学生数
19.每门课的选修人数、平均分、不及格人数、通过率
20.优秀、良好、通过和不合格各有多少人？
21.同时选修了DataStructure和 DataBase 的学生
22.选修了DataStructure 但没有选修 DataBase 的学生
23.选修课程数少于3门的同学
24.选修6门及以上课程数的同学
25.查询平均成绩大于等于60分的姓名和平均成绩
26.找出平均分最高的10位同学
二、Spark.sql操作
1、总共有多少学生？
2.总共开设了多少门课程？
3.每个学生选修了多少门课？
4.每门课程有多少个学生选？
5.每门课程>95分的学生人数
6.课程'Python'有多少个100分？
7.Tom选修了几门课？每门课多少分？
8.Tom的成绩按分数大小排序。
9.Tom选修了哪几门课？
10.Tom的平均分。
11.'OperatingSystem'不及格人数
12.'OperatingSystem'平均分
13.'OperatingSystem'90分以上人数
14.'OperatingSystem'前3名
15.每个分数按比例+20平时分。
16.求每门课的平均分
17.选修了7门课的有多少个学生？
18.每门课大于95分的学生数
19.每门课的选修人数、平均分、不及格人数、通过率
20.优秀、良好、通过和不合格各有多少人？
21.同时选修了DataStructure和 DataBase 的学生
22.选修了DataStructure 但没有选修 DataBase 的学生
23.选修课程数少于3门的同学
24.选修6门及以上课程数的同学
25.查询平均成绩大于等于60分的姓名和平均成绩
26.找出平均分最高的10位同学
三、RDD操作
1.总共有多少学生？
scm.map(lambda line: line[0]).distinct().count()
2.总共开设了多少门课程？
scm.map(lambda line: line[1]).distinct().count()
3.每个学生选修了多少门课？
scm.map(lambda line:(line[0],(line[1],line[2]))).countByKey()
4.每门课程有多少个学生选？
scm.map(lambda line:(line[0],(line[1],line[2]))).values().countByKey()
5.每门课程>95分的学生人数
rdd1=scm.filter(lambda a:a[2]>95)
name=rdd1.map(lambda line:(line[0],(line[1],line[2])))
name.values().countByKey()
6.课程'Python'有多少个100分？
scm.filter(lambda a:a[1]=='Python').filter(lambda a:a[2]=='100').count()
7.Tom选修了几门课？每门课多少分？
scm.filter(lambda line:line[0]='Tom').map(lambda line:(line[1],line[2])).collect()
8.Tom的成绩按分数大小排序。
scm.filter(lambda line:line[0]='Tom').sortBy(lambda a:a[2],False).collect()
9.Tom选修了哪几门课？
scm.filter(lambda line:line[0]='Tom').map(lambda line:line[1]).collect()
10.Tom的平均分。
import numpy as np
np.mean(scm.filter(lambda line:line[0]=='Tom').map(lambda line:line[2]).collect())
11.'OperatingSystem'不及格人数
scm.filter(lambda a:a[1]=='OperatingSystem').filter(lambda a:a[2]<60).count()
12.'OperatingSystem'平均分
import numpy as np
np.mean(scm.filter(lambda line:line[1]=='OperatingSystem').map(lambda line:line[2]).collect())
13.'OperatingSystem'90分以上人数
scm.filter(lambda a:a[1]=='OperatingSystem').filter(lambda a:a[2]>90).count()
14.'OperatingSystem'前3名
scm.filter(lambda line:line[1]='OperatingSystem').sortBy(lambda a:a[2],False).take(3)
15.每个分数按比例+20平时分。
scm.take(3)
adjust=scm.map(lambda a:((a[0],a[1]),a[2])).mapValues(lambda v:v*0.8+20)
adjust.take(3)
16.求每门课的平均分
np.mean(list(map(int,scm.map(lambda line:(line[1],line[2])).lookup(''))))
17.选修了7门课的有多少个学生？
18.每门课大于95分的学生数
19.每门课的选修人数、平均分、不及格人数、通过率
20.优秀、良好、通过和不合格各有多少人？
21.同时选修了DataStructure和 DataBase 的学生
22.选修了DataStructure 但没有选修 DataBase 的学生
23.选修课程数少于3门的同学
24.选修6门及以上课程数的同学
25.查询平均成绩大于等于60分的姓名和平均成绩
26.找出平均分最高的10位同学
