2015年10月3日

Spark应用程序的运行框架

摘要： 几个基本概念：（1）job：包含多个task组成的并行计算，往往由action催生。（2）stage：job的调度单位。（3）task：被送到某个executor上的工作单元。（4）taskSet：一组关联的，相互之间没有shuffle依赖关系的任务组成的任务集。一个应用程序由一个driver pr... 阅读全文

posted @ 2015-10-03 17:26 wzyxidian 阅读(488) 评论(0) 推荐(0)

Spark运行各个时间段的解释

摘要： package org.apache.spark.uiprivate[spark] object ToolTips { val SCHEDULER_DELAY = """Scheduler delay includes time to ship the task from the scheduler... 阅读全文

posted @ 2015-10-03 17:25 wzyxidian 阅读(1392) 评论(0) 推荐(0)

Spark技术内幕：Stage划分及提交源码分析

摘要： 当触发一个RDD的action后，以count为例，调用关系如下：org.apache.spark.rdd.RDD#countorg.apache.spark.SparkContext#runJoborg.apache.spark.scheduler.DAGScheduler#runJoborg.a... 阅读全文

posted @ 2015-10-03 17:24 wzyxidian 阅读(343) 评论(0) 推荐(0)

Maven实战七

摘要： 转载：http://www.iteye.com/topic/973166前言Maven，发音是[`meivin]，"专家"的意思。它是一个很好的项目管理工具，很早就进入了我的必备工具行列，但是这次为了把ABPM项目 完全迁移并应用maven，所以对maven进行了一些深入的学习。写这个学习笔记的目的... 阅读全文

posted @ 2015-10-03 17:17 wzyxidian 阅读(380) 评论(0) 推荐(0)

Maven实战六

摘要： 转载：http://www.iteye.com/topic/1132509一、简介settings.xml对于maven来说相当于全局性的配置，用于所有的项目，当Maven运行过程中的各种配置，例如pom.xml，不想绑定到一个固定的project或者要分配给用户时，我们使用settings.xml... 阅读全文

posted @ 2015-10-03 11:40 wzyxidian 阅读(249) 评论(0) 推荐(0)

Maven实战五

摘要： 转载：http://www.iteye.com/topic/1123232我们项目中用到的jar包可以通过依赖的方式引入，构建项目的时候从Maven仓库下载即可。1. 依赖配置 依赖可以声明如下： Xml代码 ...group-aartifact-a1.0group-cexcluded-artif... 阅读全文

posted @ 2015-10-03 11:13 wzyxidian 阅读(481) 评论(0) 推荐(0)

导航