Diagnostics: File file:/tmp/spark-95cbb984-da28-4784-8b99-eb83ad74437f/__spark_libs__1421840316395076250.zip does not exist
搭建spark环境,测试在yarn 上运行spark shell的时候出现的错误:Diagnostics: File file:/tmp/spark-95cbb984-da28-4784-8b99-eb83ad74437f/__spark_libs__1421840316395076250.zip does not exist
问题原因 是 spark-env.sh 中 HADOOP_CONF_DIR 配置的路径有问题,导致spark无法正确读取yarn集群的配置内容。导致了错误。
解决方法:修改成正确的hadoop配置路径。
原烟火人间,安得太平美满.......