SparkSQL练习:对学生选课成绩进行分析计算
题目内容:
对学生选课成绩进行分析计算
题目要求:
(1)该系总共有多少学生;
(2)该系共开设来多少门课程;
(3)每个学生的总成绩多少;
(4)每门课程选修的同学人数;
(5)每位同学选修的课程门数;
(6)该系DataBase课程共有多少人选修;
(7)每位同学平均成绩;
数据预览:
每行数据包括以下三部分内容:学生姓名,所学课程,成绩
每项数据以“,”分隔开
代码实现:
def main(args: Array[String]): Unit = {
val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
val sc = new SparkContext(sparConf) //建立Spark连接
val spark = SparkSession.builder().getOrCreate()
val df = spark.read.option("header", "true").csv("E:\\ShuJu\\sparkinput\\batch_test_score\\Data01.csv") //读入文件
df.show()
println("(1)该系总共有多少学生")
val StudentNum = df.groupBy("name").count().collect().length
println(StudentNum)
println("(2)该系共开设来多少门课程")
val CourseNum = df.groupBy("course").count().collect().length
println(CourseNum)
println("(3)每个学生的总成绩多少")
df.select("name", "grade").groupBy("name").agg(sum("grade")).show()
println("(4)每门课程选修的同学人数")
df.groupBy("course").count().show()
println("(5)每位同学选修的课程门数")
df.select("name", "course").groupBy("name").count().show()
println("(6)该系DataBase课程共有多少人选修")
df.select("name", "course").groupBy("course").count().filter("course = 'DataBase'").show()
println("(7)每位同学平均成绩")
val grades = df.groupBy("name").agg(sum("grade").alias("总成绩"), count("course").alias("科目数量"))
val avgGrade = grades.withColumn("平均成绩", grades("总成绩") / grades("科目数量"))
avgGrade.select(avgGrade("name"), round(avgGrade("平均成绩"), 2).alias("平均成绩")).show()
sc.stop()
}
合集:
大数据
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库