本地spark报:java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;
我是在运行rdd.saveAsTextFile(fileName)的时候报的错,找了很多说法……最终是跑到hadoop/bin文件夹下删除了hadoop.dll后成功。之前某些说法甚至和这个解决方法自相矛盾,可能是我没有注意到具体报错信息是不是完全一致的缘故,但是做一下记录。
1、删除hadoop.dll(最终解决方法)
2、确定一下几件事情(没有解决)
a) 设置好了环境变量
b)下载好的hadoop文件的bin目录下存在hadoop.dll和winutils.exe
c)C:\\windows\Systems下有hadoop.dll,我的没有,将hadoop文件中的复制了过去,重启后无效
3、下载的hadoop和项目使用的与hadoop相关的jar版本不一致(没有尝试)
由于提供的解决方法是根据官网重新编译与jar版本相符的hadoop,太过复杂,并没有做出尝试
当你深入了解,你就会发现世界如此广袤,而你对世界的了解则是如此浅薄,请永远保持谦卑的态度。