spark学习14(spark local模式运行spark程序的报错)
报错1
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
解决办法
下载winutils.exe文件,将其放到hadoop目录hadoop-2。6.0\bin下
然后配置HADOOP_HOME和并配置path就可以了,比如我的是:
HADOOP_HOME为
D:\bigdata_software\hadoop-2.6.0
path为
HADOOP_HOME\bin
报错2
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
解决办法
在IDE中点击Run -> Edit Configuration,在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行
运行之后还是报这个错的话,原因可能是scala版本兼容,我从scala2.11到scala2.10,就可以了