hadoop模板分析

如下是一个模板。解释在注释里。代码是从网上找的

package hadoop_homework;

import java.util.ArrayList;
import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
// 这行以上的东西基本都是差不多的。
public class wordCount{
    public static class Map extends
            Mapper<LongWritable, Text, Text, IntWritable> {
　　　　　　/*前两个参数基本不用管，有的程序是把LongWritable改为Object。后两个是map产生的那些个对的两个值。这里的意思是(Text, IntWritable)本map程序产生的是
　　　　　　key值是Text类型，value是IntWritable类型的。这里可以改类型。如果不嫌麻烦，可以都改成Text，反正数字转字符串
　　　　　　或者反过来，都不过是一个方法的问题而已。
　　　　　　*/28          
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
　　　　　　/*这里的map函数基本就可以理解为获取文件里的每一行。基本上算是吧。
　　　　　　前两个参数要注意和第26行那里匹配。*/

            String line = value.toString();
        /*基本上第一句话都是这个。是每一次从文件里获取的那一行。*/
　　　　　　/*从这句话开始，你就可以以line为原材料，开始编辑自己的逻辑了*/   
 　　　　　　　　
　　　　　　　　context.write(new Text(""), new IntWritable(1));
　　　　　　　　/*map的输出，也就是结果的记录。注意，这里的write方法参数要和26行的匹配。*/
        }
    }
    
    public static class Reduce extends
            Reducer<Text, IntWritable, Text, IntWritable> {
　　　　　　　/*前两个是从前面来的context输入的格式，后两个是此次context输出的格式。基本可以这么认为*/


        
        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
　　　　　　　　/*和map差不多。*/


            Iterator<IntWritable> iterator = values.iterator();
　　　　　　　　/*iterator里的东西，是同一个key的所有组合的value值。所以要用迭代器来遍历里面的东西*/
            while (iterator.hasNext()){
　　　　　　　　　　/*这里可以有自己的逻辑，比如累加啊之类的。*/
            }

　　　　　　　　/*遍历完了之后还可以根据需要进行操作。*/
　　　　　　　　　
            context.write(key, new IntWritable(sum));
　　　　　　　　/*和map方法一样。reduce的write输入，如果重复了的（。。。，。。。）组合会被去掉，所以可以用来去重。*/
　　　　　　　　
　　　　　　　　/*
　　　　　　　　从61行到66行，也可以用for(IntWritable t : values){     /*逻辑*/}来遍历
　　　　　　　　　　*/

            
        }
    }
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        /*以下代码几乎都是照搬的，每次都要小小地修改一下。具体道理我也不是太懂。照搬就好*/
        conf.set("mapred.job.tracker", "localhost:9000");
        String[] ioArgs = new String[] { "score_in", "score_out1" };/*这里是输入文件夹和输出文件夹的位置。都是本地的。*/
        String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: Score Average <in> <out>");
            System.exit(2);
        }
        Job job = new Job(conf, "Score Average");
        job.setJarByClass(friendCount.class);
        // 设置Map、Combine和Reduce处理类
        job.setMapperClass(Map.class);
        job.setCombinerClass(Reduce.class);
        job.setReducerClass(Reduce.class);/*这里的combiner可以不止一个。combiner我感觉一般是跟reducer一样的，就当是一次
　　　　　　　　　　　　　　　　　　　　　　　　　　　　reduce不完的东西，多次来reduce。所以一个程序不是只能有一个map和一个reduce两个类，
　　　　　　　　　　　　　　　　　　　　　　　　　　　　完全可以有更多。看需要吧。*/
        // 设置输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);/*这俩要和最终reducer匹配*/
        // 将输入的数据集分割成小数据块splites，提供一个RecordReder的实现
        job.setInputFormatClass(TextInputFormat.class);
        // 提供一个RecordWriter的实现，负责数据输出
        job.setOutputFormatClass(TextOutputFormat.class);
        // 设置输入和输出目录
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}