2020年1月24日
小记--------spark-DAGScheduler原理及state划分算法原理
摘要： 阅读全文
posted @ 2020-01-24 23:51 二黑诶 阅读(265) 评论(0) 推荐(0) 编辑
小记--------spark-job触发流程源码分析
摘要： job是串行执行的， 执行完上一个才执行下一个 eg：Wordcount案例 val lines = sc.textFile("本地URL or HDFS URL")//详解见代码1 val words = lines.flatMap(line => line.split(" "))//也会返回一个 阅读全文
posted @ 2020-01-24 23:49 二黑诶 阅读(248) 评论(0) 推荐(0) 编辑