Loading...

2018年10月9日
Spark运行架构浅析
摘要： 1.当一个application提交时候，首先重建一个sparkcontext，向资源管理器申请executor资源（executor的memery and core 数量），Executor根据心跳发送到资源管理器上； 2.driver会为其根据rdd的依赖（宽依赖：rdd操作需要shuffle， 阅读全文
posted @ 2018-10-09 01:00 严康 阅读(315) 评论(0) 推荐(0) 编辑