摘要：
阅读全文
摘要：
阅读全文
|
|
摘要：
8.2 分布式代码执行分析 所以对于刚刚的WordCount代码,简单分析后得知: SparkContext对象的构建 以及 Spark程序的退出, 由 Driver 负责执行 具体的数据处理步骤, 由Executor在执行. 其实简单来说就是: 非数据处理的部分由Driver工作 阅读全文
摘要：
6.2 什么是PySpark 我们前面使用过bin/pyspark 程序, 要注意, 这个只是一个应用程序, 提供一个Python解释器执行环境来运行Spark任务 我们现在说的PySpark, 指的是Python的运行类库, 是可以在Python代码中:import pyspark PySpark 阅读全文
摘要：
Spark环境搭建-Local 本质: 启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task 2.2 基本原理 Local模式可以限制模拟Spark集群环境的线程数量, 即Local[N] 或 Local[*] 其中N代表可以使用N个线程，每个线程拥有一个cpu c 阅读全文
摘要：
1.1Spark是什么定义:ApacheSpark是用于大规模数据(large-scala data) 处理的统一(unified) 分析引擎 Soark 借鉴 MnReduce 思相发展而来，保图了其价布式并行计算的代占开改进了其明显的缺路。让中间数样存修在内存中接高了运行速度、并提供丰富的操作数 阅读全文
摘要：
本次实验属于模仿型实验，通过本次实验学生将掌握以下内容： 1、理解访问者模式的动机，掌握该模式的结构； 2、能够利用访问者模式法解决实际问题。 [实验任务一]：打包员 在我们课堂上的“购物车”的例子中，增加一个新的访问者：打包员，负责对购物车中货物装包。 实验要求： 1. 提交源代码，不要提交类图； 阅读全文
摘要：
本次实验属于模仿型实验，通过本次实验学生将掌握以下内容： 1、理解模板方法模式的动机，掌握该模式的结构； 2、能够利用模板方法模式解决实际问题。 [实验任务一]：数据库连接 对数据库的操作一般包括连接、打开、使用、关闭等步骤，在数据库操作模板类中我们定义了connDB()、openDB()、useD 阅读全文
摘要：
第四章 业务建模 之 业务序列图 1. 中心思想： 在业务用例分析清楚以后，开始描述业务用例的实现，系统所承担的业务流程是怎么样的，以便之后推导出有待开发的系统用例图是什么样的。 2. 业务流程描述的方法： a). 文本； b). 活动图，泳道图，分清楚各个业务组织之间的边界； c). 序列图，时序 阅读全文
|
