会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
穷苦代码小学生
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2022年5月10日
7.Spark SQL
摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Spark SQL 的前身是 Shark ,即"Hive on Spark",由 Reynold Xin 主导开发。 Shark 项目最初启动于 2011 年,当时 Hive 几乎算是唯一的 SQL-on-Hadoop 选择
阅读全文
posted @ 2022-05-10 21:07 穷苦代码小学生
阅读(62)
评论(0)
推荐(0)
编辑
2022年4月19日
6. RDD综合练习:更丰富的操作
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 三、综合练习:
阅读全文
posted @ 2022-04-19 22:10 穷苦代码小学生
阅读(13)
评论(0)
推荐(0)
编辑
2022年4月12日
5.RDD操作综合实例
摘要: 一、词频统计 A. 分步骤实现 1.准备文件 下载小说或长篇新闻稿 (2)上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter(
阅读全文
posted @ 2022-04-12 12:55 穷苦代码小学生
阅读(14)
评论(0)
推荐(0)
编辑
2022年3月26日
4.RDD操作
摘要: 一、 RDD创建 准备环境:开启HDFS、Pyspark。 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 本地上传文件至HDFS 查看文件 RDD加载 3.通过并行集合(列表)创建RDD 数组 字符串 二、 RDD操作 A.转换操作 1.filter(func)传入lam
阅读全文
posted @ 2022-03-26 13:02 穷苦代码小学生
阅读(37)
评论(0)
推荐(0)
编辑
2022年3月13日
3.Spark设计与运行原理,基本操作
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 1.Spark Core:Spark核心组件,它实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core建立在统一的抽象RDD之上,使其
阅读全文
posted @ 2022-03-13 00:06 穷苦代码小学生
阅读(43)
评论(0)
推荐(0)
编辑
2022年3月5日
2.安装Spark与Python练习
摘要: 一、安装spark 1.基础环境——环境准备检查 2. 配置环境变量 3.配置相关文件 4.运行pyspark 5.在pyspark中运行代码 Python实现英文文本的词频统计 1.准备文本文件 2.读文件 txt = open("fit.txt", "r",encoding='UTF-8').r
阅读全文
posted @ 2022-03-05 13:57 穷苦代码小学生
阅读(35)
评论(0)
推荐(0)
编辑
2022年2月23日
1.大数据概述
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 (1)HDFS HDFS是Hadoop两大核心组成部分之一,提供了在廉价服务器集群中进行大规模分布式文件存储的能力。HDFS不仅具有很好的容错能力,并且兼容廉价的硬件设备,因此,可以以较低的成本利用现有
阅读全文
posted @ 2022-02-23 17:28 穷苦代码小学生
阅读(53)
评论(0)
推荐(0)
编辑