2017年2月22日
[Spark内核] 第31课：Spark资源调度分配内幕天机彻底解密：Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结
摘要： 本課主題 Master 资源调度的源码鉴赏 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... 资源调度管理 Master 资源调度的源码鉴赏 當前 Master 必需是 Alive 的方式才可以進行資源調度，一開始的時候會判斷一下狀態，如果不是 Alive 的 阅读全文
posted @ 2017-02-22 15:57 無情 阅读(1266) 评论(0) 推荐(0) 编辑
[Spark内核] 第30课：Master的注册机制和状态管理解密
摘要： 本課主題 Master 接收 Worker, Driver, Application Master 处理 Driver 狀态变换 Master 处理 Executor 狀态变换 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Master 接受 Driver 阅读全文
posted @ 2017-02-22 12:10 無情 阅读(1273) 评论(0) 推荐(1) 编辑
[Spark内核] 第29课：Master HA彻底解密
摘要： 本课主题 Master HA 解析 Master HA 解析源码分享 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中...... Master HA 解析 Spark Master HA on ZooKeeper 切換流程圖 Master HA 的四大方式 ZOOKEE 阅读全文
posted @ 2017-02-22 10:53 無情 阅读(1661) 评论(0) 推荐(1) 编辑
[Spark内核] 第28课：Spark天堂之门解密
摘要： 本課主題 什么是 Spark 的天堂之门 Spark 天堂之门到底在那里 Spark 天堂之门源码鉴赏 引言 我说的 Spark 天堂之门就是SparkContext，这篇文章会从 SparkContext 创建3大核心对象 TaskSchedulerImpl、DAGScheduler 和 Sche 阅读全文
posted @ 2017-02-22 10:32 無情 阅读(2507) 评论(0) 推荐(3) 编辑