basic spark or spark essentials-02(notes)
摘要:
submitjob::做了什么 1含有dagScheduler的runJob函数的runJob是入口,并且是堵塞的操作,即直到Spark完成Job的运行之前,rdd.doCheckpoint()是不会执行的。堵塞在3的waiter.awaitResult()操作,即submitJob会返回一个wai 阅读全文
posted @ 2017-10-07 19:35 satyrs 阅读(113) 评论(0) 推荐(0) 编辑