Diagnostics: File file:/tmp/spark-95cbb984-da28-4784-8b99-eb83ad74437f/__spark_libs__1421840316395076250.zip does not exist

 搭建spark环境,测试在yarn 上运行spark shell的时候出现的错误:Diagnostics: File file:/tmp/spark-95cbb984-da28-4784-8b99-eb83ad74437f/__spark_libs__1421840316395076250.zip does not exist

 

问题原因 是 spark-env.sh 中 HADOOP_CONF_DIR 配置的路径有问题,导致spark无法正确读取yarn集群的配置内容。导致了错误。

解决方法:修改成正确的hadoop配置路径。

 

posted @ 2018-12-12 11:24  欣欣0115  阅读(548)  评论(0编辑  收藏  举报