摘要: spark的调度模式分为两种:FIFO(先进先出)和FAIR(公平调度) 默认是FIFO,即谁先提交谁先执行 FAIR支持在调度池中再进行分组,可以有不同的权重,根据权重、资源等来决定谁先执行 spark的调度模式可以通过spark.scheduler.mode进行设置 默认是FIFO,即谁先提交谁 阅读全文
posted @ 2019-07-24 21:58 北漂屌丝 阅读(533) 评论(0) 推荐(0) 编辑
摘要: Executor在集群中分散启动,有利于task计算的数据本地化 默认情况下(提交任务的时候没有设置--executor-cores选项),每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存 如果想在Wor 阅读全文
posted @ 2019-07-24 21:55 北漂屌丝 阅读(167) 评论(0) 推荐(0) 编辑