2020年8月24日
spark源码分析, 任务反序列化及执行
摘要： 1 ==> 接受消息,org.apache.spark.executor.CoarseGrainedExecutorBackend#receive case LaunchTask(data) => if (executor == null) { exitExecutor(1, "Received L 阅读全文
posted @ 2020-08-24 17:13 龘人上天 阅读(362) 评论(0) 推荐(0) 编辑
spark源码分析, 任务提交及序列化
摘要： 简易基本流程图如下 1. org.apache.spark.scheduler.DAGScheduler#submitMissingTasks 2. => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure 阅读全文
posted @ 2020-08-24 15:00 龘人上天 阅读(269) 评论(0) 推荐(0) 编辑