2022年6月7日
7.Spark SQL
摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因： 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求，首先，用户需要从不同数据源执行各种操作，包括结构化和非结构化数据，其次用户需要执行高级分析，比如机器学习和图像处理 从实际大数据应用中，经常需要融合关系查 阅读全文
posted @ 2022-06-07 22:01 甘琳 阅读(63) 评论(0) 推荐(0)
8. SparkSQL综合作业
摘要： 8. SparkSQL综合作业 综合练习：学生课程分数 网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图； 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门 阅读全文
posted @ 2022-06-07 21:44 甘琳 阅读(80) 评论(0) 推荐(0)
2022年4月26日
RDD操作综合实例
摘要： 一、词频统计 A.分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs 启动hdfs 上传文件并查看 2.读文件创建RDD 创建SparkContext以及从文件系统中加载数据创建RDD 与原txt文件对比 3.分词 4.标点符号re.split(pattern,str)，flat 阅读全文
posted @ 2022-04-26 15:06 甘琳 阅读(32) 评论(0) 推荐(0)
RDD操作
摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 1. filter(func)传入lambda匿名函数显式定义函数 2.map(func) 显式 阅读全文
posted @ 2022-04-26 15:05 甘琳 阅读(40) 评论(0) 推荐(0)
spark设计与运行原理
摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark 生态系统以Spark Core 为核心，可以读取传统文件（如文本文件）、HDFS、Amazon S3、Alluxio 和NoSQL 等数据源，能够利用Standalone、 阅读全文
posted @ 2022-04-26 15:04 甘琳 阅读(117) 评论(0) 推荐(0)
安装spark与python联系
摘要： 一、安装Spark 检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码 1.jdk、hadoop环境 2.spark环境 二、Python编程练习：英文文本的词频统计 准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统 阅读全文
posted @ 2022-04-26 15:01 甘琳 阅读(68) 评论(0) 推荐(0)
6. RDD综合练习：更丰富的操作
摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文
posted @ 2022-04-26 14:57 甘琳 阅读(6) 评论(0) 推荐(0)