[b0013] Hadoop 版hello word mapreduce wordcount 运行(三)

目的：

不用任何IDE，直接在linux 下输入代码、调试执行

环境：

Linux  Ubuntu

Hadoop 2.6.4

相关:

[b0012] Hadoop 版hello word mapreduce wordcount 运行(二)

 

最佳: 

简单方式：

在当前目录创建类文件，添加后面的内容，但是不包括第一行package

编译：

javac WordCount.java

打包

jar -cvf WordCount.jar ./WordCount*.class

执行

hadoop jar WordCount.jar WordCount /input /output

这种方式不能加package,如果加了package，即使最后一步这样也测试不通过  hadoop jar WordCount.jar 包路径.WordCount /input /output
加package的只能用本文后面的方法

 

1、准备程序

linux 新建工程文件夹

word, word/src, word/classes

在src下 新建类文件 WordCount.java，添加如下代码，注意第一行的包名，后面用到

package hadoop.mapr;

import java.io.IOException;
import java.util.*;

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

/**
 * 描述：WordCount explains by xxm
 * @author xxm
 */
public class WordCount {

 /**
 * Map类：自己定义map方法
 */
 public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
    /**
    * LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类
    * 都能够被串行化从而便于在分布式环境中进行数据交换，可以将它们分别视为long,int,String 的替代品。
    */
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    /**
    * Mapper类中的map方法：
    * protected void map(KEYIN key, VALUEIN value, Context context)
    * 映射一个单个的输入k/v对到一个中间的k/v对
    * Context类：收集Mapper输出的<k,v>对。
    */
    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
 } 

 /**
 * Reduce类：自己定义reduce方法
 */       
 public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

    /**
    * Reducer类中的reduce方法：
    * protected void reduce(KEYIN key, Interable<VALUEIN> value, Context context)
    * 映射一个单个的输入k/v对到一个中间的k/v对
    * Context类：收集Reducer输出的<k,v>对。
    */
    public void reduce(Text key, Iterable<IntWritable> values, Context context) 
      throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        context.write(key, new IntWritable(sum));
    }
 }

 /**
 * main主函数
 */       
 public static void main(String[] args) throws Exception {

    Configuration conf = new Configuration();//创建一个配置对象，用来实现所有配置
//    conf.set("fs.defaultFS", "hdfs://ssmaster:9000/");
    
    Job job = new Job(conf, "wordcount");//新建一个job，并定义名称

    job.setOutputKeyClass(Text.class);//为job的输出数据设置Key类
    job.setOutputValueClass(IntWritable.class);//为job输出设置value类
    
    job.setMapperClass(Map.class); //为job设置Mapper类
    job.setReducerClass(Reduce.class);//为job设置Reduce类
    job.setJarByClass(WordCount.class);

    job.setInputFormatClass(TextInputFormat.class);//为map-reduce任务设置InputFormat实现类
    job.setOutputFormatClass(TextOutputFormat.class);//为map-reduce任务设置OutputFormat实现类

    FileInputFormat.addInputPath(job, new Path(args[0]));//为map-reduce job设置输入路径
    FileOutputFormat.setOutputPath(job, new Path(args[1]));//为map-reduce job设置输出路径
    job.waitForCompletion(true); //运行一个job，并等待其结束
 }

}

 

2 编译、打包 Hadoop MapReduce 程序

2.1 我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 /etc/profile 中增加 hadoop classpath的类包，source /etc/profile 生效

export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

 

2.2 切换到word目录，执行命令编译

javac -d classes src/*.java

• -classpath，设置源代码里使用的各种类库所在的路径，多个路径用":"隔开。
• -d，设置编译后的 class 文件保存的路径。
• src/*.java，待编译的源文件。

    备注：如果没有配置hadoop classpath路径,执行方式  javac -classpath 依赖hadoop包.jar -d classes src/*.java

 

执行结果：在classes文件夹 创建 hadoop/mapr，这是类的包名，产生的类有

 

hadoop@ssmaster:~/java_program/word$ ls classes/hadoop/mapr/
WordCount.class  WordCount$Map.class  WordCount$Reduce.class

 

2.3 将类文件夹classes打包到word目录

jar -cvf WordCount.jar classes

hadoop@ssmaster:~/java_program/word$ ls
classes  src  WordCount.jar

3 执行

启动hadoop,准备/input，确保没有/output

执行命令，由于类中有包名，这里要加上

 hadoop  jar  WordCount.jar  hadoop.mapr.WordCount /input /output

会启动成功。 但是我的这里有什么异常，导致Hadoop集群退出 [遗留：运维重大问题]

 

总结：

hadoop mapreduce,hdfs的开发环境基本了解差不多

后续：

重点学习hdfs，mapreduce的任务编程

 

参考：

1 第一个MapReduce程序——WordCount

2 使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0