2015年3月5日

spark 系列文章汇总

摘要： 本文将整理汇总涉及spark系列文章。 阅读全文

posted @ 2015-03-05 16:49 Ai_togic 阅读(462) 评论(0) 推荐(0) 编辑

spark 内核调度理解

摘要： 上图对于spark运行机制，可以概括为以下几步来理解。1. Create DAG of RDDs to represent computation2. Create logical execution plan for DAG 1). Pipeline as much as possible 2).... 阅读全文

posted @ 2015-03-05 15:41 Ai_togic 阅读(155) 评论(0) 推荐(0) 编辑

spark 源码导读2 进一步窥探Master、Worker启动及通信机制

摘要： 上一篇文章spark 源码理解1 从spark启动脚本开始是分析执行start_all.sh时，集群中启动了哪些进程，下面我们再深入一点看看这些进程都是做什么用的，它们之间又是如何通信的？一、Master进程的启动Master进程，它主要负责对Worker、Driver、App等资源的管理并与它们进... 阅读全文

posted @ 2015-03-05 15:33 Ai_togic 阅读(1146) 评论(0) 推荐(0) 编辑

导航