eclipse开发mapreduce程序遇到的环境问题

公司是在windows servers 2008上用eclipse进行开发，hadoop集群也是由多台linux服务器组成的真实集群。由于我要开发的程序涉及到hadoop、hbase、solr，理所当然的引入了相关的核心jar包到工程里面，代码也没显示任何异常。但是在运行代码的时候却报了各种错误，之前在自己电脑虚拟机上开发mapreduce程序是没有问题的，现将解决方法记录一下。

异常1：

Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.  
    at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:119)  
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:81)  
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:74)  
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1188)  
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1184)  
    at java.security.AccessController.doPrivileged(Native Method)  
    at javax.security.auth.Subject.doAs(Subject.java:396)  
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1478)  
    at org.apache.hadoop.mapreduce.Job.connect(Job.java:1183)  
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1212)  
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1236)  

解决办法：

MR程序初始化的时候需要加载“ClientProtocolProvider.class”，查了下有两个jar包包含这个的子类“hadoop-mapreduce-client-common-2.0.0-cdh4.2.1.jar”、“hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1.jar”，将这两个jar包引入项目中，问题得以解决。

 

异常2：

Exception in thread "main" java.io.IOException: Cannot run program "cygpath": CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
 at java.lang.ProcessBuilder.start(ProcessBuilder.java:459)
 at org.apache.hadoop.util.Shell.runCommand(Shell.java:201)
 at org.apache.hadoop.util.Shell.run(Shell.java:183)
 at org.apache.hadoop.fs.FileUtil$CygPathCommand.<init>(FileUtil.java:413)
 at org.apache.hadoop.fs.FileUtil.makeShellPath(FileUtil.java:439)
 at org.apache.hadoop.fs.FileUtil.makeShellPath(FileUtil.java:466)
 at org.apache.hadoop.fs.RawLocalFileSystem.execCommand(RawLocalFileSystem.java:559)
 at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:551)
 at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:355)
 at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:212)

解决办法：

尽管连接的hadoop平台是在linux上面，但是我们的eclipse调试环境是在windows server 2008，我们需要安装一个linux模拟器“cygwin”来支持程序的运行。

在windows server 2008开发服务器上安装好cygwin，然后在环境变量中添加cygwin的bin目录，比如“D:\Program\cygwin\bin”，问题得以解决。