随笔分类 -  作业

Spark 综合作业
摘要：网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 >>> lines = spark.sparkContext.textFile('file:///home/hadoop/wc/sc.txt') >>> parts = lines.map(lambda x:x.split(',' 阅读全文
posted @ 2022-05-23 22:53 天井听雨 阅读(90) 评论(0) 推荐(0) 编辑
7. Spark SQL
摘要：1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL的前身是 Shark，Shark最初是美国加州大学伯克利分校的实验室开发的Spark生态系统的组件之一，它运行在Spark系统之上，Shark重用了Hive的工作机制，并直接继承了Hive的各个组件， Sh 阅读全文
posted @ 2022-05-10 08:44 天井听雨 阅读(25) 评论(0) 推荐(0) 编辑
6. RDD综合练习：更丰富的操作
摘要：集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文
posted @ 2022-04-20 21:44 天井听雨 阅读(22) 评论(0) 推荐(0) 编辑
5.RDD操作综合实例
摘要：一、词频统计 A.分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs 启动hdfs 上传文件并查看 2.读文件创建RDD 创建SparkContext以及从文件系统中加载数据创建RDD 与原txt文件对比 3.分词 4.标点符号re.split(pattern,str)，flat 阅读全文
posted @ 2022-04-11 23:05 天井听雨 阅读(34) 评论(0) 推荐(0) 编辑
4.RDD操作
摘要：一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 1.filter(func) 传入lambda匿名函数 显式定 阅读全文
posted @ 2022-03-27 18:12 天井听雨 阅读(11) 评论(0) 推荐(0) 编辑
3.Spark设计与运行原理，基本操作
摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 目前，Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台系统。在Spark生态圈中包含了Spark 阅读全文
posted @ 2022-03-08 10:00 天井听雨 阅读(54) 评论(0) 推荐(0) 编辑
2.安装Spark与Python练习
摘要：一、安装Spark 1、检查基础环境hadoop,jdk 3、相关文件配置 4、环境配置 5、运行python代码 二、Python编程练习：英文文本的词频统计 1、准备文本（f1.txt） Please send this message to those people who mean some 阅读全文
posted @ 2022-03-07 11:52 天井听雨 阅读(30) 评论(0) 推荐(0) 编辑
1.大数据的概述
摘要：1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 生态系统，顾名思义就是很多组件组成的一个生态链，经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包括了多个子项目，除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括要Zo 阅读全文
posted @ 2022-02-22 10:24 天井听雨 阅读(51) 评论(0) 推荐(1) 编辑