摘要:
spark的调度模式分为两种:FIFO(先进先出)和FAIR(公平调度) 默认是FIFO,即谁先提交谁先执行 FAIR支持在调度池中再进行分组,可以有不同的权重,根据权重、资源等来决定谁先执行 spark的调度模式可以通过spark.scheduler.mode进行设置 默认是FIFO,即谁先提交谁 阅读全文
摘要:
Executor在集群中分散启动,有利于task计算的数据本地化 默认情况下(提交任务的时候没有设置--executor-cores选项),每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存 如果想在Wor 阅读全文