摘要: 1、在yarn模式下运行spark作业 (1)如果想让spark作业可以运行在yarn上,那么首先必须在配置文件spark-env.sh文件中,配置HADOOP_CONF_DIR或者YARN_CONF_DIR属性,因为再使用spark-submit提交spark作业时,要先给yarn的resourc 阅读全文
posted @ 2019-09-11 14:33 我得去图书馆了 阅读(227) 评论(0) 推荐(0) 编辑