摘要: schedule方法的总源码: 启动driver方法的源码: 启动workers源码: 扩展:中华石杉-spark从入门到精通,第48讲 要理解以上源码,需要知道其中的关系: spark一个集群会有多个master节点和多个worker节点,master节点负责管理worker节点,worker节点 阅读全文
posted @ 2019-10-26 15:33 上海小墨子 阅读(405) 评论(0) 推荐(0) 编辑
摘要: 查看源码需要先进行编译,注意修改版本: ./make-distribution.sh --tgz -Phadoop-2.6 -Pyarn -DskipTests -Dhadoop.version=2.6.0 -Phive 一:worker注册机制(worker启动之后) 1- worker在启动之后 阅读全文
posted @ 2019-10-26 10:02 上海小墨子 阅读(365) 评论(0) 推荐(0) 编辑