2016年12月9日
Spark on Yarn：任务提交参数配置
摘要： 当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。 以下参数配置为例子： spark-submit --master yarn-cluster #使用集群调度模式(一般使用这个参数) --num-exec 阅读全文
posted @ 2016-12-09 02:40 cctext 阅读(5137) 评论(0) 推荐(0) 编辑