摘要: 一:SparkContext原理 千言万语不抵一张图啊!(看不懂也别急,把下面的源码看完后再回过来看这张图你就懂了) 1-1 1-1 1-1 二:SparkContext源码剖析 SparkContext最重要的功能就是创建了TaskScheduler、DAGSchedule和SparkUI(404 阅读全文
posted @ 2017-12-30 21:06 小丑进场 阅读(562) 评论(1) 推荐(0) 编辑
摘要: 千言万语不如一张图! Spark应用运行原理图 Spark应用运行原理图 Spark应用运行原理图 流程梳理 注意:这是总体架构概括,后面的博文将对其中的各个组件和功能进行深度剖析! 阅读全文
posted @ 2017-12-30 20:55 小丑进场 阅读(687) 评论(2) 推荐(0) 编辑
摘要: 由于近期准备深入研究一下Spark的核心源码,所以开了这一系列用来记录自己研究spark源码的过程! 想要读源码,那么第一步肯定导入spark源码啦(笔者使用的是IntelliJ IDEA),在网上找了一圈,尝试了好几种方法都没有成功,最终通过自己摸索出了一种非常简单的方式(只需要两步即可!) 环境 阅读全文
posted @ 2017-12-30 19:07 小丑进场 阅读(2372) 评论(0) 推荐(1) 编辑