在eclipse中使用hadoop插件

我的配置环境看我的上篇博文。

配置过程：

 

（1）把插件放到eclipse/plugins目录下。（我的版本上一篇也有）

（3）重启eclipse，配置Hadoop installation directory

如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径

（4）配置Map/Reduce Locations

打开Windows—Open Perspective—Other,选择Map/Reduce，点击OK

点击Map/Reduce Location选项卡，点击右边小象图标，打开Hadoop Location配置窗口：

输入Location Name，任意名称即可.配置Map/Reduce Master和DFS Mastrer，Host和Port配置成与core-site.xml的设置一致即可(9000)。(貌似Map/Reduce Master 的端口设置任何数字都可以？)

点击"Finish"按钮，关闭窗口。

点击左侧的DFSLocations—>myhadoop（上一步配置的location name)，如能看到user，表示安装成功

（5）新建WordCount项目

File—>Project，选择Map/Reduce Project，输入项目名称比如：WordCount等。

 

然后就可以开始写了。

WordCount的代码网上有很多不再赘述。

 

运行：

HDFS上创建目录/test

hadoop fs -mkdir /test

拷贝本地hello.txt到HDFS的/test里

hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

点击WordCount.java，右键，点击Run As—>Run Configurations->arguments，配置运行参数，即输入和输出文件夹

hdfs://localhost:9000/test

hdfs://localhost:9000/test/out

点击Run按钮，运行程序。

运行完成后，查看运行结果

方法1：

hadoop fs -ls output

可以看到有两个输出结果，_SUCCESS和part-r-00000

执行hadoop fs -cat output/*

方法2:

展开DFS Locations，如下图所示，双击打开part-r00000查看结果