020_自己编写的wordcount程序在hadoop上面运行，不使用插件hadoop-eclipse-plugin-1.2.1.jar

1、Eclipse中无插件运行MP程序 

　　1）在Eclipse中编写MapReduce程序
　　2）打包成jar包
　　3）使用FTP工具，上传jar到hadoop 集群环境
　　4）运行

2、具体步骤

说明：该程序运行完被我删除了，具体添加哪些包不太清楚，但是最保险的是把有可能用到的都添加进去，添加情况如下：

1）创建工程、类

2）添加文件夹conf、lib，然后将指定的jar包添加到相对应的文件夹下面。

3）lib下的所有jar选定，右击build Path——>add to build path。效果如图。

4）编写wordcount程序

package org.dragon.hadoop.mr;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import com.sun.accessibility.internal.resources.accessibility;
import com.sun.org.apache.xpath.internal.Arg;

/**
 * 
 * @author ZhuXY  
 * @time   2016-3-7 下午3:37:54
 * 
 * MapReduce 初级案例 wordcount程序
 */
public class MyWorldCount {
    
    //Mapper 区域
    /**
     * <KEYIN,         VALUEIN,         KEYOUT,         VALUEOUT>
     * 输入key类型    输入value类型    输出key类型        输出value类型
     *
     */
    
    /**
     * WordCount程序map类
     *
     */
    static  class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
        
        private Text word=new Text();
        private final static IntWritable one=new IntWritable(1);
        
        //快捷键alt+shift+s
        //map方法每次只读取一行数据，换句话说就是每行启动一个map函数
        @Override
        protected void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            
            //获取每行数据的值
            String lineValue=value.toString();
            
            //进行分割
            StringTokenizer stringTokenizer=new StringTokenizer(lineValue);
            
            //遍历
            while (stringTokenizer.hasMoreElements()) {
                
                //获取每个值
                String worldValue=stringTokenizer.nextToken();
                
                //设置map, 输入的key值
                word.set(worldValue);
                context.write(word, one); //如果出现就出现一次，存在每行出现几次，这时候键的值一样，多个键值对
            }
        }
    }
    
    //Reducer 区域
    /**
     * <KEYIN, VALUEIN, KEYOUT, VALUEOUT>
     * KEYIN key, Iterable<VALUEIN> values, Context context
     */
    
    /**
     * WordCount程序reduce类
     *
     */
    static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable>{

        private IntWritable resultIntWritable=new IntWritable();
        //这里key还是key。但是value变成了values
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                Context context)
                throws IOException, InterruptedException {
            //用于累加的变量
            
            int sum=0;
            //循环遍历Interable
            for(IntWritable value:values)
            {
                //累加
                sum+=value.get();
            }
            
            //设置总次数
            resultIntWritable.set(sum);
            context.write(key, resultIntWritable);
        }
    }
    
    //Client  区域
    public static void main(String[] args) throws Exception {
        
        //方便起见直接在此处写死了，可以在run as的配置中配置参数
        args=new String[]{
                "hdfs://hadoop-master.dragon.org:9000/wc/wcinput/",
                "hdfs://hadoop-master.dragon.org:9000/wc/wcoutput/"            
        };
        
        //获取配置文件信息
        Configuration configuration=new Configuration();
        
        //当命令格式不正确的时候，提示，类似于shell中的命令提示
//        String[] otherArgs = new GenericOptionsParser(configuration, 
//                args).getRemainingArgs();
//                if (otherArgs.length != 2) {
//                System.err.println("Usage: wordcount <in> <out>");
//                System.exit(2);
//                }
        
        //创建job。设置配置文件信息和Job名称
        Job job=new Job(configuration,"wc");
        
        //1、设置Job运行的类
        job.setJarByClass(MyWorldCount.class);
        
        //2、设置Mapper类和Reducer类
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);
        
        //3、设置输入文件的目录和输出文件目录
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        //4、设置输出结果的key和value的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        
        //5、提交Job等待运行结果，并在客户端显示运行信息
        boolean isSuccess=job.waitForCompletion(true);
        
        //6、结束程序
        System.exit(isSuccess?0:1);
    }
}

　　5）打包，打成jar包。项目右击Export-->jar file,如图：

6）将jar包（此处为wc.jar）通过FileZilla客户端上传到CentOS中。

7）运行命令：$hadoop jar wc.jar <input path> <output path>.

运行前提：jps查看，确保dfs和MapReduce服务都已经开启。

3、运行时出的WARNING提示

 增加代码，就是上述代码中注释掉的代码：

        
        //当命令格式不正确的时候，提示，类似于shell中的命令提示
        String[] otherArgs = new GenericOptionsParser(configuration, 
                args).getRemainingArgs();
                if (otherArgs.length != 2) {
                System.err.println("Usage: wordcount <in> <out>");
                System.exit(2);
                }