2019年3月5日
【Spark工作原理】Spark任务调度理解
摘要： Spark内部有若干术语(Executor、Job、Stage、Task、Driver、DAG等)，需要理解并搞清其内部关系，因为这是性能调优的基石。 节点类型有： 1. Master 节点： 常驻master进程，负责管理全部worker节点。 2. Worker 节点： 常驻worker进程，负 阅读全文
posted @ 2019-03-05 21:48 wwcom123 阅读(1282) 评论(0) 推荐(0) 编辑