SPARK 资源调度源码总结

  1. Executor在集群中分散启动，有利于task计算的数据本地化

  1. 默认情况下（提交任务的时候没有设置--executor-cores选项），每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存

  1. 如果想在Worker上启动多个Executor，提交Application的时候要加--executor-cores这个选项

  1. 默认情况下没有设置--total-executor-cores,一个Application会使用Spark集群中所有的cores

posted @ 2019-07-24 21:55  北漂屌丝  阅读(167)  评论(0)  编辑  收藏  举报