摘要:
阅读全文
摘要:
阅读全文
|
摘要:
8.2 分布式代码执行分析 所以对于刚刚的WordCount代码,简单分析后得知: SparkContext对象的构建 以及 Spark程序的退出, 由 Driver 负责执行 具体的数据处理步骤, 由Executor在执行. 其实简单来说就是: 非数据处理的部分由Driver工作 阅读全文
摘要:
6.2 什么是PySpark 我们前面使用过bin/pyspark 程序, 要注意, 这个只是一个应用程序, 提供一个Python解释器执行环境来运行Spark任务 我们现在说的PySpark, 指的是Python的运行类库, 是可以在Python代码中:import pyspark PySpark 阅读全文
摘要:
Spark环境搭建-Local 本质: 启动一个JVM Process进程(一个进程里面有多个线程),执行任务Task 2.2 基本原理 Local模式可以限制模拟Spark集群环境的线程数量, 即Local[N] 或 Local[*] 其中N代表可以使用N个线程,每个线程拥有一个cpu c 阅读全文
摘要:
1.1Spark是什么定义:ApacheSpark是用于大规模数据(large-scala data) 处理的统一(unified) 分析引擎 Soark 借鉴 MnReduce 思相发展而来,保图了其价布式并行计算的代占开改进了其明显的缺路。让中间数样存修在内存中接高了运行速度、并提供丰富的操作数 阅读全文
摘要:
本次实验属于模仿型实验,通过本次实验学生将掌握以下内容: 1、理解访问者模式的动机,掌握该模式的结构; 2、能够利用访问者模式法解决实际问题。 [实验任务一]:打包员 在我们课堂上的“购物车”的例子中,增加一个新的访问者:打包员,负责对购物车中货物装包。 实验要求: 1. 提交源代码,不要提交类图; 阅读全文
摘要:
本次实验属于模仿型实验,通过本次实验学生将掌握以下内容: 1、理解模板方法模式的动机,掌握该模式的结构; 2、能够利用模板方法模式解决实际问题。 [实验任务一]:数据库连接 对数据库的操作一般包括连接、打开、使用、关闭等步骤,在数据库操作模板类中我们定义了connDB()、openDB()、useD 阅读全文
摘要:
第四章 业务建模 之 业务序列图 1. 中心思想: 在业务用例分析清楚以后,开始描述业务用例的实现,系统所承担的业务流程是怎么样的,以便之后推导出有待开发的系统用例图是什么样的。 2. 业务流程描述的方法: a). 文本; b). 活动图,泳道图,分清楚各个业务组织之间的边界; c). 序列图,时序 阅读全文
|