使用idea在windows上连接远程hadoop开发_配置环境

使用idea在windows上连接远程hadoop开发

 

一.前置环境准备

1.下载一份hadoop本地解压，配置HADOOP_HOME的环境变量   

idea运行时会读这个环境变量然后找到他里面的bin文件，其实不需要启动 只要有bin这个目录就行,不然会报错 找不到HADOOP_HOME这个环境变量

2.bin里面缺少了winutils.exe和hadoop.dll 需要额外下载

https://github.com/steveloughran/winutils

也可以参考该篇博客：https://www.cnblogs.com/singleYao/p/13436824.html

也可以不下载hadoop直接下载这个bin把环境变量配置成这个bin的上一级目录

3.将hadoop.dll 复制到C:\Windows\System32中 否则 会报 Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z