摘要:
1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL的出现,解决了对不同数据源和不同数据的操作,例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。 SparkSQL的前身是Shark,Shark中提供了类似于Hive的功能。但是Shark设计中 阅读全文
摘要:
1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL的出现,解决了对不同数据源和不同数据的操作,例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。 SparkSQL的前身是Shark,Shark中提供了类似于Hive的功能。但是Shark设计中 阅读全文
摘要:
集合运算练习 union() intersection() subtract() cartesian() 内连接与外连接 join() leftOuterJoin() rightOuterJoin() fullOuterJoin() 三、综合练习:学生课程分数 网盘下载sc.txt文件,通过RDD操 阅读全文
摘要:
一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter 阅读全文
摘要:
一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 3.启动hdfs 4.上传文件 5.查看文件 6.加载 7.停止hdfs 8.通过并行集合(列表)创建RDD 输入列表、字符串、numpy生成数组 二、 RDD操作 转换操作 1.map(func)显式定义函 阅读全文
摘要:
1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark大数据计算平台包含许多子模块,构成了整个Spark的生态系统,其中Spark为核心。伯克利将整个Spark的生态系统称为伯克利数据分析栈(BDAS),如下图所示。 (1) S 阅读全文
摘要:
一、安装Spark 检查基础环境hadoop,jdk 下载Spark 二.Python编程练习:英语文本的词频统计 源代码 # 导入模块 # 导入字符串模块 import string # 2读取文件,并分词 list_dict = {} # 创建一个空字典,放词频与单词,无序排列 data = [ 阅读全文
摘要:
一.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 Hadoop生态系统t通过多年的累计和发展不断完善并成熟,目前已经包括了多个子项目,除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括要ZoopKer、HBase、Hive、Pig、 阅读全文
|