会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
chi_chen
博客园
首页
新随笔
联系
订阅
管理
公告
2022年5月23日
8. SparkSQL综合作业
摘要: 网盘下载sc.txt文件,分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析 一、DataFrame操作 1.总共有多少学生? 2.总共开设了多少门课程? 3.每个学生选修了多少门课? 4.每门课程有多少个学生选? 5.每门课程>95分的学生人数 6.课程'P
阅读全文
posted @ 2022-05-23 21:27 chi_chen
阅读(50)
评论(0)
推荐(0)
编辑
2022年5月8日
7.Spark SQL
摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Shark提供了类似于Hive的功能,与Hive不同的是,Shark把SQL语句转换成Spark作业,而不是MAPreduce作业。为了实现Hive的兼容,Shark重用了Hive中的Hive SQL解析、逻辑执行计划翻译、
阅读全文
posted @ 2022-05-08 18:58 chi_chen
阅读(50)
评论(0)
推荐(0)
编辑
2022年4月18日
6. RDD综合练习:更丰富的操作
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 网盘下载sc.
阅读全文
posted @ 2022-04-18 23:31 chi_chen
阅读(26)
评论(0)
推荐(0)
编辑
2022年4月6日
5.RDD操作综合实例
摘要: 一、词频统计 A.分步骤实现 1.准备文件 a.下载小说或长篇新闻稿 直接复制小说粘贴到txt文件 b.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwo
阅读全文
posted @ 2022-04-06 19:14 chi_chen
阅读(11)
评论(0)
推荐(0)
编辑
2022年3月20日
4.RDD操作
摘要: 一、 RDD创建 1. 从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据创建RDD 启动hdfs上传文件, 查看文件加载停止hdfs 3. 通过并行集合(列表)创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func)map(func)flatMap(f
阅读全文
posted @ 2022-03-20 21:00 chi_chen
阅读(16)
评论(0)
推荐(0)
编辑
2022年3月14日
3.Spark设计与运行原理,基本操作
摘要: 一.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件,这些组件可以非常容易地把各种处理流程整合在一起,而这样的整合,在实际的数据分
阅读全文
posted @ 2022-03-14 23:34 chi_chen
阅读(23)
评论(0)
推荐(0)
编辑
2022年3月7日
2.安装Spark与Python练习
摘要: 一、安装Spark 1、环境配置: 2、启动spark: 3、试运行python代码: 二、Python编程练习:英文文本的词频统计 1、准备文本文件 2、读文件 path='/home/hadoop/wc/f1.txt' with open(path) as f: text=f.read() 3、
阅读全文
posted @ 2022-03-07 14:49 chi_chen
阅读(42)
评论(0)
推荐(0)
编辑
2022年2月27日
大数据概述
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 HDFS(分布式文件系统) HDFS是针对谷歌分布式文件系统的开源实现,它是Hadoop两大核心组成部分之一,提供了在廉价服务器集群中进行大规模分布式文件存储的能力。 HDFS具有很好的容错能力,并且兼
阅读全文
posted @ 2022-02-27 00:08 chi_chen
阅读(45)
评论(0)
推荐(0)
编辑