摘要：
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。在实际大数据应用中，经常需 阅读全文
posted @ 2022-05-09 11:32 bracee 阅读(37) 评论(0) 推荐(0) 编辑
摘要：
#集合运算操作(union()， intersection()，subtract(), cartesian()) #内连接与外连接(join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin()) 三、综合练习：学生课程分数 #导入数据并进行持久 阅读全文
posted @ 2022-04-19 21:11 bracee 阅读(48) 评论(0) 推荐(0) 编辑
摘要：
一、词频统计 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 hdfs dfs -ls /hdfs 读文件创建RDD lines = sc.textFile(“file:///home/hadoop/ex1_news.txt”) lines.foreach(print) 分词 初次分词 阅读全文
posted @ 2022-03-29 22:10 bracee 阅读(30) 评论(0) 推荐(0) 编辑
摘要：
一、 RDD创建 1.从本地文件系统中加载数据创建RDD lines=sc.textFile("file:///home/hadoop/hbr.txt") lines.foreach(print) 2.从HDFS加载数据创建RDD 启动hdfs start-all.sh 上传文件 hdfs dfs 阅读全文
posted @ 2022-03-15 16:16 bracee 阅读(43) 评论(0) 推荐(0) 编辑
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的 Spark SQL：提 阅读全文
posted @ 2022-03-08 17:16 bracee 阅读(75) 评论(0) 推荐(0) 编辑
摘要：
一、安装Spark 1. 检查基础环境hadoop,jdk Start-all.sh(启动全部服务) Jps：查看是否启动成功 2：下载spark https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-without-ha 阅读全文
posted @ 2022-03-01 17:11 bracee 阅读(47) 评论(0) 推荐(0) 编辑