风吹过半夏

2022年1月23日

摘要：在spark shell中运行代码： Spark Shell 提供了简单的方式来学习Spark API Spark Shell可以以实时、交互的方式来分析数据 Spark Shell支持Scala和Python 一个Driver就包括main方法和分布式集群 Spark Shell本身就是一个Dri 阅读全文

posted @ 2022-01-23 16:25 风吹过半夏阅读(136) 评论(0) 推荐(0) 编辑

大三寒假学习 spark学习 spark安装

摘要： 1.下载安装文件： Spark安装包下载地址： http://spark.apache.org 进入下载页面后，点击主页右侧的“Download Spark”按钮进入下载页面，下载页面中提供了几个下载选项，主要是Spark release及Package type的选择，如下图所示。第1项Spark 阅读全文

posted @ 2022-01-23 11:45 风吹过半夏阅读(214) 评论(0) 推荐(0) 编辑

2022年1月21日

大三寒假学习 spark学习 spark的部署和应用方式

摘要： Spark三种部署方式： Standalone，类似于MapReduce1.0 ,slot为资源分配单位 Spark on Mesos，Mesos和Spark有一定的亲缘关系 Spark on YARN Mesos和Yarn联系：用Spark架构满足批处理和流处理需求：用Spark架构具有如下优阅读全文

posted @ 2022-01-21 18:02 风吹过半夏阅读(39) 评论(0) 推荐(0) 编辑

2022年1月20日

大三寒假学习 spark学习 RDD的依赖关系和运行过程

摘要：窄依赖与宽依赖的区别：窄依赖：表现为一个父RDD的分区对应于一个子RDD的分区或多个父RDD的分区对应于一个子RDD的分区宽依赖：表现为存在一个父RDD的一个分区对应一个子RDD的多个分区 Stage的划分： Spark通过分析各个RDD的依赖关系生成了DAG再通过分析各个RDD中的分区之间的依阅读全文

posted @ 2022-01-20 12:38 风吹过半夏阅读(94) 评论(0) 推荐(0) 编辑

大三寒假学习 spark学习 RDD

摘要：设计背景：许多迭代式算法（比如机器学习、图算法等)和交互式数据挖掘工具，共同之处是，不同计算阶段之间会重用中间结果目前的MapReduce框架都是把中间结果写入到HDFS中，带来大量的数据复制、磁盘I0和序列化开销 RDD就是为了满足这种需求而出现的，它提供了一个抽象的数据架构我们不必担心底层阅读全文

posted @ 2022-01-20 12:20 风吹过半夏阅读(36) 评论(0) 推荐(0) 编辑

2022年1月18日

大三寒假学习 spark学习 spark运行基本流程

摘要： 1.为应用构建起基本的运行环境，即由Driver创建一个SparkContext进行资源的申请、任务的分配和监控 2.资源管理器为Executor分配资源，并启动Executor进程 3. sparkContext根据RDD的依赖关系构建DAG图，DAG图提交给DAGScheduler解析成Stag 阅读全文

posted @ 2022-01-18 21:45 风吹过半夏阅读(70) 评论(0) 推荐(0) 编辑

大三寒假学习 spark学习 spark运行架构

摘要：基本概念： RDD：是Resillient Distributed Dataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型 DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系 Executor：是运行在阅读全文

posted @ 2022-01-18 21:31 风吹过半夏阅读(42) 评论(0) 推荐(0) 编辑

大三寒假学习 spark学习 spark生态系统

摘要：在实际应用中，大数据处理主要包括以下三个类型：复杂的批量数据处理，通常时间跨度在数十分钟到数小时之间基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间基于实时数据流的数据处理，通常时间跨度在数百毫秒到数秒之间当同时存在以上三种场景时,就需要同时部署三种不同的软件：复杂的批量数据处理阅读全文

posted @ 2022-01-18 20:49 风吹过半夏阅读(88) 评论(0) 推荐(0) 编辑

大三寒假学习 spark实验报告2

摘要：实验 2 Scala 编程初级实践 1.计算级数请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。例如，若 q 的值为 50.0 ，则输出应为： Sn=50.416695 。请阅读全文

posted @ 2022-01-18 19:21 风吹过半夏阅读(450) 评论(0) 推荐(0) 编辑

2022年1月16日

大三寒假学习 spark学习函数式编程实例

摘要： WorldCount： import java.io.File import scala.io.Source object WordCount{ def main(args: Array[String]): Unit ={ val dirfile = new File("F://english") 阅读全文

posted @ 2022-01-16 22:12 风吹过半夏阅读(37) 评论(0) 推荐(0) 编辑

公告