2016年12月13日
Spark资源调度机制源码分析--基于spreadOutApps及非spreadOutApps两种资源调度算法
摘要： Spark资源调度机制源码分析--基于spreadOutApps及非spreadOutApps两种资源调度算法 1、spreadOutApp尽量平均分配到每个executor上； 2、非spreadOutApp尽量在使用单个executor的资源。 源码分析 org.apache.spark.dep 阅读全文
posted @ 2016-12-13 23:21 花心土豆 阅读(642) 评论(0) 推荐(0) 编辑