Windows下Hadoop Eclipse 开发平台搭建

准备工作

java JDK

Cywin

eclipse

hadoop-0.20.2-eclipse-plugin.jar（Hadoop自带eclipse插件，在hadoop\contrib\eclipse-plugin中）

安装和配置

一、JDK安装和配置

　　省略

二、Cywin安装和配置

　　可以按照默认的提示安装到自己需要存放的位置，但是在安装时需要注意下面几点：　　

 　　1、　http://mirrors.sohu.com

　　  　　

　　2、安装过程中记得选择所需的包，具体请参考下面的图示：

• Net    下的：openssh,openssl

• Base  下的：sed （若需要Eclipse，必须sed）

• Devel 下的：subversion（建议安装）

                

　　不同的版本可能有所不同，但是基本操作没有变化。。。。

　　在我的电脑->属性->高级->环境变量中配置加入变量CYGWIN=ntsec

　　在path环境变量中加入cygwin/bin路径, 例如: ;d:/cygwin64/bin

　　给文件授权,以完成sshd 服务的安装

　　chmod +r /etc/group 

　　chmod +r /etc/passwd

　  chmod +rwx /var

　　安装ssh服务

　　以管理员权限运行Cygwin，并输入 ssh-host-config

    当询问if privilege separation should be used 时输入 no .     

 　 当询问if sshd should be installed as a service 时输入yes .     

　　当询问about the value of CYGWIN environment variable enter 时输入 ntsec .

    其余询问均输入 no

　　cygrunsrv.exe -S sshd # 启动 SSH服务

　　控制面板-》系统和安全-》管理工具-》服务 启动名为 CYGWIN sshd 的服务，亦可在cygwin中输入 cygrunsrv --start sshd 启动sshd（输入cygrunsrv --stop sshd停止sshd）
三、hadoop安装和配置

　　这里只需要保证hadoop配置，与服务器配置一致即可。

四、eclipse安装和配置

　　将eclipse安装包解压到任意路径下

　　将hadoop-0.20.2-eclipse-plugin.jar放置eclipse安装目录eclipse\plugins下，启动eclipse进行如下配置：

　　window->Preference->Hadoop Map/Reduce，输入hadoop文件夹位置。

　　

　　window->Show View，选择Map/Reduce Locations。

　　　

　　点击屏幕右下方新建一个Location.

　　

　　编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)

　　

　　这时，打开Project Explore，刷新。

　　　 

　　接下来，你可以new一个MapReduce程序了，找到hadoop的例子试试去吧。

　　对了，编译这里要配置一下。

　　选择Run Configurations->Java Application->Arguments，这里要填入为两个文件，分别为输入文件和输出文件。

　　　　

　　　　注意：输入输出文件地址，如果用主机名，则需要设置一下本地的hosts