SPARK任务调度模式

  • spark的调度模式分为两种：FIFO(先进先出)和FAIR(公平调度)
    • 默认是FIFO，即谁先提交谁先执行
    • FAIR支持在调度池中再进行分组，可以有不同的权重，根据权重、资源等来决定谁先执行
    • spark的调度模式可以通过spark.scheduler.mode进行设置
posted @ 2019-07-24 21:58  北漂屌丝  阅读(533)  评论(0)  编辑  收藏  举报