hadoop 集群搭建与mapreduce开发实战(二)

hadoop eclipse 插件安装与运行mapreduce程序

插件下载：

链接：http://pan.baidu.com/s/1pLwK6IB 密码：p29q

一：插件安装

下载插件并放到eclipse的plugins目录，并重新启动eclipse。

重启eclipse：

配置hadoop连接：

windows->OpenPespective

第一个端口默认50020，第二个8020 是根据core-site.xml中的配置来的：

这个端口如果没有配置正确，在插件中会提示连接不上。

连接上之后的效果如下：

到此，算是配置好插件与hadoop连接，可以显示并上传文件到hadoop上。接下来，将编写mapreduce程序，在hadoop行运行。

二：开发实战

创建一个mvn项目，调试wordcount程序。

eclipse的调试配置如下：

当时还是会报错，远程调试，还是没有配好：

没办法，只能先打成jar包，拷贝到hadoop的master上，通过命令执行。

执行命令如下：

hadoop jar /root/HadoopTest/hadooptest-1.0.jar com.hadoop.maxtemperature.MaxTemperature /data/temperature /output/temperature

参数解析：
命令 : hadoop
参数1： jar // 执行的文件类型
参数2： /root/HadoopTest/hadooptest-1.0.jar // 待执行文件位置
参数3： com.hadoop.maxtemperature.MaxTemperature // main函数所在类的类名称，注意写完整包路径
参数4： /data/temperature // 输入参数的目录，执行该目录下的所有文件
参数5： /output/temperature // 输出文件的目录

 

 

hadoop 常用命令：

1.查看目录

hadoop fs -ls /

 

2. 查看文件

hadoop fs -text /data/a

3.删除文件

hadoop fs -rm /data/a

4.删除目录 

hadoop fs -rm -r /data/wordcount