eclipse连接hadoop集群
将hadoop-2.6.0.rar压缩包解压
增加系统变量HADOOP_HOME,变量值为hadoop-2.6.0.rar压缩包解压所在的目录
在系统变量中对变量名为PATH的系统变量追加变量值,变量值为 %HADOOP_HOME%/bin
将hadoop-eclipse-plugin-2.6.0.jar拷贝到Eclipse安装目录中dropins文件夹
注意:该插件版本必须与Hadoop版本一致
GitHub源码下载
打开hadoop-2.6.0的安装目录,打开bin文件夹,复制hadoop.dll和winutils.exe文件,打开目录C:\Windows\System32,将以上两个文件拷贝到该文件夹
打开Eclipse,依次点击“Window”→“Preferences”→“Hadoop Map/Reduce”,Hadoop installation directory配置为hadoop-2.6.0.rar压缩包解压目录
注意,若在Preferences中找不到Hadoop Map/Reduce,则cd到Eclipse安装目录,执行./eclipse -clean,然后重启Eclipse
依次点击“Window”→“Show View”→“Other…”→“MapReduce Tools”→“Map/Reduce Locations”
在“Map/Reduce Locations”视图中右键“New Hadoop location…”,新建连接
弹出如下窗口,这个是初始界面
下面我讲解这些配置如何填写
Location name
可以任意填写
Map/Reduce(V2) Master
Host
方法一:填写远程Hadoop所在虚拟机的IP地址,比如我的是172.16.29.94
方法二:直接填入其主机名(比如我的是master),要在相关文件中进行配置:进入目录C:\Windows\System32\drivers\etc,找到hosts文件,打开后加入IP地址与主机名的映射,如下图所示
Port(划重点!我在这里掉进过很多坑!)
将远程集群的Hadoop安装目录下**/hadoop/hadoop-2.7.7/etc/hadoop/目录下的core-site.xml**、hdfs-site.xml、mapred-site.xml、slaves和yarn-site.xml5个文件通过Xftp等SFTP文件传输软件将五个文件复制,并在本机的(Windows系统)中Hadoop安装目录下的**\hadoop-2.6.0\etc\hadoop**目录中使用以上5个文件覆盖原文件
对于5个文件如何配置,强烈建议阅读多台Linux虚拟机Hadoop集群的安装与部署(超详细版)
打开复制的yarn-site.xml文件,找到变量名为yarn.resourcemanager.address的变量值,我的文件的变量值为master:8032
将该变量值中的端口号填入Map/Reduce(V2) Master的Port中,我需要填入的值为8032
DFS Master
Port
打开复制的core-site.xml文件,找到变量名为fs.defaultFS的变量值,我的文件的变量值为hdfs://master:9000
将该变量值中的端口号填入DFS Master的Port中,我需要填入的值为9000
User name
填写远程Hadoop所在的操作系统的用户名,我的是root
综上,配置结果如下、
点击Finish即可
11. 查看Project Explorer中的DFS Locations,依次展开文件夹,若能查看远程Hadoop集群的HDFS内容,则Eclipse连接Hadoop集群成功
注意:若找不到DFS Locations,或报出“Map/Reduce location status updater”错误,需要执行以下步骤
点击Eclipse右上角的Open Perspective图标
在弹出的窗口点击Map/Reduce选项,点击Open即可
参考:https://blog.csdn.net/weixin_42278880/article/details/102551398