window10下的eclipse用java连接hadoop执行mapreduce任务
一.准备工作
1.eclipse连接hadoop的插件，需要版本匹配，这有几个常用的 2 版本的插件
hadoop2x-eclipse-plugin-master
密码：feg1
2.hadoop-common-2.2.0-bin-master，这个跟版本无关，直接用就可以。
hadoop-common-2.2.0-bin-master
密码：nr3h
二.环境搭建
1.将 hadoop2x-eclipse-plugin-master 中对应的插件放到 eclipse 目录中的 plugin 下。
2.放入插件后重启 eclipse 生效，点击 windows->preferences->搜索hadoop，搜索出来说明成功。右边有hadoop installation directory，点击browser，选择hadoop的解压路径。点击Apply -> OK（我的hadoop是配置好的再从linux 中复制出来的，配置文件齐全，不知道没有配置的hadoop行不行。。。）
3.配置这个插件，点击 windows -> show view -> other
4.搜索 map，会出现如下图所示。
5.双击小黄象，在控制台会看到如下图
6.右击，选择第一个小蓝象。
7.配置连接信息
8.要注意的是两个端口号（hadoop2x）
port 50020是 mapred-site.xml 中配置的端口号，默认为9001
port 9000 是 core-site.xml 中配置的端口号，默认为9000
9.点击 finish 完成配置，会显示如下图，表示配置成功。
10.测试是否连接上 HDFS，点击右上角的 javaEE，会出现 DFS Locations
11.点击 DFS Locations，如果出现 HDFS 中的目录则连接成功。
12.配置HADOOP_HOME 和 path
13.配置 vinutils
将前面下载的 hadoop-common-2.2.0-bin-master 解压，复制 bin 里面的所有东西到本地的{HADOOP_HOME}/bin 下
14.把 hadoop-common-2.2.0-bin-master 下的bin的 hadoop.dll 放到 C:\Windows\System32 下，重启电脑
三.运行程序
1.伪造一份测试数据，并上传到HDFS中相应目录，在此省略。。
2.接下来运行 mapreduce 程序
package test;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class Wordcount {
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
System.out.println("hello");
}
}
}
public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values, Context context)
throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
//System.setProperty("hadoop.home.dir", "F:\\课件\\hadoop\\hadoop-2.5.2");
Job job = new Job(conf, "word count");
job.setJarByClass(Wordcount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
3.将{‘HADOOP_HOME’}/etc/hadoop/log4j.properties 复制到该项目的 src 下面
右击 run as -> run configuration
4.配置路径，这个是HDFS 中的输入和输出路径
对应 new Path(args[0]) 和new Path(args[1])
5.在 console 控制台会出现类似命令行运行成功的标志表示 job 运行成功
6.结果可以在左侧看，右击蓝色小象，点击 Reconnect
嗨~磕磕绊绊总算弄出来了，下面是过程中遇到的一些问题。
1.配置连接信息的时候生搬硬套，端口号没改
注意：两个端口号有不同的作用，都是配置在hadoop集群配置文件中
一个是core-site.xml，另外一个是hdfs-site.xml 。
2.eclipse 执行 MapReduce 程序时会出现程序控制台不输出任何输出信息，没有日志信息，没有执行信息，无法知道程序执行的结果如何。
解决方法：将 hadoop 配置文件目录（$HADOOP_HOME/etc/hadoop/）下的 log4j.properties 文件 copy 进工程中的src下。
3.Exception in thread "main" java.lang.NullPointerException
解决方法：在Hadoop2的bin目录下没有winutils.exe，所以下载
hadoop-common-2.2.0-bin-master，把 bin 下面的东西都复制到 {HADOOP_HOME}/bin 中就可以了
4.Failed to locate the winutils binary in the hadoop binary path，这是找不到
winutils 这个文件。
解决方法：跟3类似，重启电脑。
参考：http://blog.csdn.net/brotherdong90/article/details/50680458
http://www.cnblogs.com/braveym/p/6282420.html
