Hadoop1.1.2开发笔记（一）

本文参考hadoop权威指南，开发一个单词统计的程序，首先需要下载hadoop相应版本的依赖文件，本人是采用的maven项目管理，在pom.xml文件加入依赖

<dependency>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-core</artifactId>
          <version>1.1.2</version>
          <type>jar</type>
          <scope>compile</scope>
      </dependency>

编写map类，用于分解任务

public class WordCountMapper extends Mapper<Object, Text, Text, IntWritable> {
    
    private final static IntWritable one = new IntWritable(1);

    private Text word = new Text();

    public void map(Object key, Text value, Context context

                    ) throws IOException, InterruptedException {

      StringTokenizer itr = new StringTokenizer(value.toString());

      while (itr.hasMoreTokens()) {

        word.set(itr.nextToken());

        context.write(word, one);

      }
    }
}

编写Reduce类，用于规约

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values,  
            Context context) throws IOException, InterruptedException {  
        int sum = 0;  
        for (IntWritable val : values) {  
            sum += val.get();  
        }  
        result.set(sum);  
        context.write(key, result);  
    }  

}

编写WordCount类，定义作业

public class WordCount {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        /** 创建一个job，起个名字以便跟踪查看任务执行情况 **/
        Job job = new Job(conf, "word count");

        /**
         * 当在hadoop集群上运行作业时，需要把代码打包成一个jar文件（hadoop会在集群分发这个文件），
         * 通过job的setJarByClass设置一个类，hadoop根据这个类找到所在的jar文件
         **/

        job.setJarByClass(WordCount.class);

        /** 设置要使用的map、combiner、reduce类型 **/

        job.setMapperClass(WordCountMapper.class);

        job.setCombinerClass(WordCountReducer.class);

        job.setReducerClass(WordCountReducer.class);

        /**
         * 设置map和reduce函数的输入类型，这里没有代码是因为我们使用默认的TextInputFormat，针对文本文件，按行将文本文件切割成
         * InputSplits, 并用 LineRecordReader 将 InputSplit 解析成 <key,value&gt:
         * 对，key 是行在文件中的位置，value 是文件中的一行
         **/

        /** 设置map和reduce函数的输出键和输出值类型 **/

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(IntWritable.class);

        /** 设置输入和输出路径 **/

        FileInputFormat.addInputPath(job, new Path("D:\\JAVA\\workspacejee\\hadoop\\path1"));

        FileOutputFormat.setOutputPath(job, new Path("D:\\JAVA\\workspacejee\\hadoop\\path2"));

        /** 提交作业并等待它完成 **/

        System.exit(job.waitForCompletion(true) ? 0 : 1);

    }

}

在输入路径存放我们需要统计词语的文件，运行上面的WordCount类，即可在输出路径看到运行的结果

本人是在win2003系统运行，会遇到相关目录权限检测错误，需要改写org.apache.hadoop.fs包里面的FileUtil类，将方法checkReturnValue里面的代码注释掉即可

---------------------------------------------------------------------------

本系列Hadoop1.1.2开发笔记系本人原创

转载请注明出处 博客园 刺猬的温驯

本文链接 http://www.cnblogs.com/chenying99/archive/2013/05/09/3068233.html