【Hadoop】：手动实现WordCount案例
一.实现案例
实现WorldCount的流程如下：
备注：其中输入的数据是一个txt文件，里面有各种单词，每一行中用空格进行空行
一.Mapper的编写
我们在IDEA是使用“ctrl+alt+鼠标左键点击”的方式来查看源码，我们首先查看mapper 类的源码，同时源码我已经使用了，如下所示：
// // Source code recreated from a .class file by IntelliJ IDEA // (powered by FernFlower decompiler) // package org.apache.hadoop.mapreduce; import java.io.IOException; import org.apache.hadoop.classification.InterfaceAudience.Public; import org.apache.hadoop.classification.InterfaceStability.Stable; @Public @Stable public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { public Mapper() { }
//在任务开始之前，setup必然被调用一次 protected void setup(Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { }
//在input split的时候，对每一个key/value的pair都call once.大多数程序都会overide这个方法 protected void map(KEYIN key, VALUEIN value, Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { context.write(key, value); } //在at the end of the task,这个方法被调用一次 protected void cleanup(Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { } //把整个程序，里面的所有方法串连起来 public void run(Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { this.setup(context); try { while(context.nextKeyValue()) {//每次仅读取一行数据 this.map(context.getCurrentKey(), context.getCurrentValue(), context); } } finally { this.cleanup(context); } }
//上下文，封装了程序当中大量的分析方法 public abstract class Context implements MapContext<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { public Context() { } } }
因此我们根据里面的源码，编写wordcount所需要的mapper的代码，如下所示：
//现在我们开始编写wordcount的示例 public class WordcountMapper extends Mapper<LongWritable, Text,Text, IntWritable> { //mapper后面的参数： // 1.输入数据的key类型 // 2.输入数据的value类型 // 3.输出数据的key类型 // 4.输出数据的value的类型 protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { //1.首先获取一行 String line=value.toString(); //2.将获取后的单词进行分割,按照空格进行分割 String[] words=line.split(" "); //3.循环输出（不是输出到控制台上面，是输出到reducer里进行处理） for(String word:words) { Text k=new Text();//定义我们输出的类型，肯定是Text，和整个类extends的顺序对应 k.set(word); IntWritable v=new IntWritable(); v.set(1);//将value设置为1 context.write(k,v); } } }
二.Reducer的编写
reducer的源码如下，和mapper的源码非常相似，其实也就是对reducer的方法进行了封装，并没有方法体：
import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.classification.InterfaceAudience.Public; import org.apache.hadoop.classification.InterfaceStability.Stable; import org.apache.hadoop.mapreduce.ReduceContext.ValueIterator; import org.apache.hadoop.mapreduce.task.annotation.Checkpointable; @Checkpointable @Public @Stable public class Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { public Reducer() { } protected void setup(Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { } protected void reduce(KEYIN key, Iterable<VALUEIN> values, Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { Iterator i$ = values.iterator(); while(i$.hasNext()) { VALUEIN value = i$.next(); context.write(key, value); } } protected void cleanup(Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { } public void run(Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>.Context context) throws IOException, InterruptedException { this.setup(context); try { while(context.nextKey()) { this.reduce(context.getCurrentKey(), context.getValues(), context); Iterator<VALUEIN> iter = context.getValues().iterator(); if (iter instanceof ValueIterator) { ((ValueIterator)iter).resetBackupStore(); } } } finally { this.cleanup(context); } } public abstract class Context implements ReduceContext<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { public Context() { } } }
代码如下：
import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.mapreduce.Reducer; import javax.xml.soap.Text; import java.io.IOException; public class WordCountReducer extends Reducer<Text, IntWritable,Text,IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { super.reduce(key, values, context); //在reduce里拿到的是mapper已经map好的数据 //现在数据的形式是这样的： //atguigu(key),1(value) //atguigu(key),1(value) int sum=0; //累计求和 for(IntWritable value: values) { sum+=value.get();//将intwrite对象转化为int对象 } IntWritable v=new IntWritable(); v.set(sum); //2.写出 atguigu 2 context.write(key,v); //总结，这个程序看起来并没有起到分开不同单词，并对同一单词的value进行相加的作用啊 //唯一的功能则是统计仅有一个单词的字符之和，这有啥用...... } }
三.Driver程序编写，让mapreduce动起来！
代码如下：
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; public class wordcoundDriver { //将mapper和reducer进行启动的类 //driver是完全格式固定的 public static void main(String[] args) throws Exception { Configuration conf=new Configuration(); //1.获取Job对象 Job job=Job.getInstance(conf); //2.设置jar储存位置 job.setJarByClass(wordcoundDriver.class); //3.关联map和reduce类 job.setMapperClass(WordcountMapper.class); job.setReducerClass(WordCountReducer.class); //4.设置mapper阶段输出数据的key和value类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); //5.设置最终数据输出的key和value类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); //6.设置输入路径和输出路径 FileInputFormat.setInputPaths(job,new Path(args[0])); FileInputFormat.setInputPaths(job,new Path(args[1])); //7.提交Job job.submit(); job.waitForCompletion(true); } }
这样就可以运行起来了！大家可以尝试在分布式集群上实现wordcount统计这个功能，只需要将这些代码进行打成jar包，这样就可以放到linux操作系统上去运行了！最后运行的时候，路径写的是HDFS上的路径哦！
