摘要: 架构 前三章从 job 的角度介绍了用户写的 program 如何一步步地被分解和执行。这一章主要从架构的角度来讨论 master,worker,driver 和 executor 之间怎么协调来完成整个 job 的运行。 实在不想在文档中贴过多的代码,这章贴这么多,只是为了方面自己回头 debug 阅读全文
posted @ 2018-03-19 12:07 yimison 阅读(671) 评论(0) 推荐(0) 编辑
摘要: DAGSchedulerEventProcessLoop 源码 上面的eventLoop是事件循环器典型的代码,可以直接应用到自己项目产品中。 阅读全文
posted @ 2018-03-19 11:59 yimison 阅读(223) 评论(0) 推荐(0) 编辑