本地spark报:java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;

  我是在运行rdd.saveAsTextFile(fileName)的时候报的错,找了很多说法……最终是跑到hadoop/bin文件夹下删除了hadoop.dll后成功。之前某些说法甚至和这个解决方法自相矛盾,可能是我没有注意到具体报错信息是不是完全一致的缘故,但是做一下记录。

 

1、删除hadoop.dll(最终解决方法)

  

2、确定一下几件事情(没有解决)

  a) 设置好了环境变量

  b)下载好的hadoop文件的bin目录下存在hadoop.dll和winutils.exe

  c)C:\\windows\Systems下有hadoop.dll,我的没有,将hadoop文件中的复制了过去,重启后无效

 

3、下载的hadoop和项目使用的与hadoop相关的jar版本不一致(没有尝试)

  由于提供的解决方法是根据官网重新编译与jar版本相符的hadoop,太过复杂,并没有做出尝试

posted @ 2019-09-03 10:27  l.w.x  阅读(2658)  评论(0编辑  收藏  举报