配置hadoop本地开发环境(第4篇)
摘要:
配置本地hadoop开发环境
配置在Eclipse环境中管理hdfs目录
hadoop下载:
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common //清华镜像
https://mirror.bit.edu.cn/apache/hadoop/common
https://downloads.apache.org/hadoop/common/
所有Hadoop版本
https://archive.apache.org/dist/hadoop/common/
1.本地hadoop开发环境配置
保证本机配置好jdk、安装好eclipse //我的eclipse是用的绿色版
1)windows安装hadoop
我的分布式环境hadoop版本号是2.7.5,因此下载hadoop2.7.5.zip
解压后路径:E:\java\hadoop
2)配置系统环境变量
配置系统变量HADOOP_HOME:E:\java\hadoop
配置系统变量Path: 在最后追加%HADOOP_HOME%\bin
3)配置本地运行MR程序
E:\java\hadoop \bin目录下的winutils.exe和hadoop.dll拷贝到C:\Windows\System32目录下。
说明:windows本地运行mr程序时(不提交到yarn,运行在jvm单线程执行),hadoop.dll防止报nativeio异常、winutils.exe没有的话报空指针异常。
2.eclipse中安装hadoop插件
1)下载插件
也可以下载hadoop-eclipse-plugin插件
https://github.com/winghc/hadoop2x-eclipse-plugin
放到eclipse-oxygen\plugins 或 eclipse-oxygen\dropins下
我下载的hadoop-eclipse-plugin-2.7.5.jar,放到E:\java\eclipse-oxygen\plugins中
2)安装配置插件
重启eclipse
进入Windows –Preferences,我们会看见多了一个Hadoop MapReduce,说明我们安装好了eclipse的hadoop插件。
配置插件:点击Hadoop Map/Reduce选项,进入配置页面,点击Browse,选择Hadoop安装路径。 ##我的路径是E:\java\hadoop
3.配置Map/Reduce Location
打开 Windows—> show view —> Other,选择MapReduce Tools下的Map/Reduce Locations。
点击下图右上角位置的小象,进入配置页面。
说明:
Location name自定义一个名字就行;
配置Map/Reduce Master
Host:master节点的hostname
Port:50070
说明:50070是hdfs文件系统的端口,192.168.56.110:50070可以查看你文件系统
配置DFS Master
port为HDFS端口号,默认是9000
User name为安装Hadoop节点用户名称
##我的master节点 [root@master hadoop]#,因此我的user name是root
4.测试
在Xshell中,连接master,在hdfs中创建文件夹he
[root@master hadoop]# hadoop fs -mkdir /he
在eclipse中就可以适合地看见hdfs文件的情况。如下图:
通过浏览器也可以查看hdfs的情况:
http://192.168.56.110:50070/explorer.html#/
备注:一定要修改
C:\Windows\System32\drivers\etc\hosts文件
192.168.56.110 master ##在这里耗费了好会儿
到此,eclipse配置本地hadoop环境ok。