eclipse连接hadoop集群

将hadoop-2.6.0.rar压缩包解压
增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录

在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin
将hadoop-eclipse-plugin-2.6.0.jar拷贝到Eclipse安装目录中dropins文件夹
注意：该插件版本必须与Hadoop版本一致
GitHub源码下载
打开hadoop-2.6.0的安装目录，打开bin文件夹，复制hadoop.dll和winutils.exe文件，打开目录C:\Windows\System32，将以上两个文件拷贝到该文件夹
打开Eclipse，依次点击“Window”→“Preferences”→“Hadoop Map/Reduce”，Hadoop installation directory配置为hadoop-2.6.0.rar压缩包解压目录

注意，若在Preferences中找不到Hadoop Map/Reduce，则cd到Eclipse安装目录，执行./eclipse -clean，然后重启Eclipse
依次点击“Window”→“Show View”→“Other…”→“MapReduce Tools”→“Map/Reduce Locations”
在“Map/Reduce Locations”视图中右键“New Hadoop location…”，新建连接

弹出如下窗口，这个是初始界面

下面我讲解这些配置如何填写
Location name
可以任意填写
Map/Reduce(V2) Master
Host
方法一：填写远程Hadoop所在虚拟机的IP地址，比如我的是172.16.29.94
方法二：直接填入其主机名（比如我的是master），要在相关文件中进行配置：进入目录C:\Windows\System32\drivers\etc，找到hosts文件，打开后加入IP地址与主机名的映射，如下图所示

Port（划重点！我在这里掉进过很多坑！）
将远程集群的Hadoop安装目录下**/hadoop/hadoop-2.7.7/etc/hadoop/目录下的core-site.xml**、hdfs-site.xml、mapred-site.xml、slaves和yarn-site.xml5个文件通过Xftp等SFTP文件传输软件将五个文件复制，并在本机的（Windows系统）中Hadoop安装目录下的**\hadoop-2.6.0\etc\hadoop**目录中使用以上5个文件覆盖原文件
对于5个文件如何配置，强烈建议阅读多台Linux虚拟机Hadoop集群的安装与部署（超详细版）
打开复制的yarn-site.xml文件，找到变量名为yarn.resourcemanager.address的变量值，我的文件的变量值为master:8032

将该变量值中的端口号填入Map/Reduce(V2) Master的Port中，我需要填入的值为8032
DFS Master
Port
打开复制的core-site.xml文件，找到变量名为fs.defaultFS的变量值，我的文件的变量值为hdfs://master:9000

将该变量值中的端口号填入DFS Master的Port中，我需要填入的值为9000
User name
填写远程Hadoop所在的操作系统的用户名，我的是root
综上，配置结果如下、

点击Finish即可
11. 查看Project Explorer中的DFS Locations，依次展开文件夹，若能查看远程Hadoop集群的HDFS内容，则Eclipse连接Hadoop集群成功
注意：若找不到DFS Locations，或报出“Map/Reduce location status updater”错误，需要执行以下步骤

点击Eclipse右上角的Open Perspective图标

在弹出的窗口点击Map/Reduce选项，点击Open即可

 

参考：https://blog.csdn.net/weixin_42278880/article/details/102551398