2019年8月14日
spark-submit参数配置
摘要： num-executors 参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给 阅读全文
posted @ 2019-08-14 15:21 carsonwuu 阅读(1312) 评论(0) 推荐(0) 编辑