Spark ON YARN 安装部署

1、修改spark-env.sh

     添加HADOOP_CONF_DIR 或者YARN_CONF_DIR 环境变量

 

2、 作业提交 yarn

       创建hdfs test 目录

       bin/hdfs dfs -mkdir /test

       本地日志上传 hdfs  test目录

       bin/hdfs dfs -put djt.log /test

 

3、spark 作业提交yarn 测试运行

       bin