05 2022 档案
摘要:综合练习:学生课程分数 网盘下载sc.txt文件,分别创建RDD、DataFrame和临时表/视图; 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生? 总共开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>
阅读全文
摘要:1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 1.1.SparkSQL出现的原因 hive是shark的前身,shark是sparkSQL的前身,sparkSQL产生的根本原因是其完全脱离了hive的限制,hive是hive SQL转换成 MapReduce然后提交到集群
阅读全文