spark启动后出现“JAVA_HOME not set” 异常和"org.apache.hadoop.security.AccessControlException"异常

 

/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh

启动后执行jps命令,主节点上有Master进程,其他子节点上有Work进行,登录Spark管理界面查看集群状态(主节点):http://master01:8080/

 

到此为止,Spark集群安装完毕.

1.注意如果遇到 “JAVA_HOME not set” 异常可以在sbin目录下的spark-config.sh 文件中加入如下配置:

export JAVA_HOME=XXXX

 

2.如果遇到Hadoop HDFS的写入权限问题:

org.apache.hadoop.security.AccessControlException

解决方案: hdfs-site.xml中添加如下配置,关权限验证

  <property>
        <name>dfs.permissions</name>
        <value>false</value>
  </property>  

posted @ 2019-05-01 11:50  zhangqi0828  阅读(307)  评论(0编辑  收藏  举报