spark学习14(spark local模式运行spark程序的报错)

报错1

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.


解决办法

下载winutils.exe文件,将其放到hadoop目录hadoop-2。6.0\bin下

然后配置HADOOP_HOME和并配置path就可以了,比如我的是:
HADOOP_HOME为
D:\bigdata_software\hadoop-2.6.0
path为
HADOOP_HOME\bin


报错2


Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;

解决办法

在IDE中点击Run -> Edit Configuration,在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行

运行之后还是报这个错的话,原因可能是scala版本兼容,我从scala2.11到scala2.10,就可以了

posted @ 2017-03-03 18:26  邬家栋  阅读(1358)  评论(0编辑  收藏  举报