hadoop 8步走
1.1读取hdfs中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数 解析成2个<k,v>,分别是<0, hello you><10, hello me>。调用2次map函数。
1、读文件解析 <k1,v1>
1.2 覆盖map(),接收1.1产生的<k,v>,进行处理,转换为新的<k,v>输出 public void map(k, v, ctx){
String[] splited = v.split("\t");
2、覆盖map,原始k、v 变新k、v for(String word : splited){
ctx.write(word, 1);
}
1.3 对1.2输出的<k,v>进行分区。默认分为1个区。 }
3、 <k,v>进行分区 <k2,v2>
1.4 对不同分区中的数据进行排序(按照k)、分组。分组指的是相同key的value放到一个集合中。 map输出后的数据是:<hello,1>,<you,1>,<hello,1>,<me,1>
4、k、v排序、分组 排序后是:<hello,1>,<hello,1>,<me,1>,<you,1>
分组后是:<hello,{1,1}>,<me,{1}>,<you,{1}>
1.5 (可选)对分组后的数据进行规约。
5、规约
2.1 多个map任务的输出,按照不同的分区,通过网络copy到不同的reduce节点上。
6、map输出到reduce //reduce函数被调用的次数是3
2.2 对多个map的输出进行合并、排序。覆盖reduce函数接收的是分组后的数据, public void reduce(k,vs, ctx){
实现自己的业务逻辑,处理后,产生新的<k,v>输出。 long sum = 0L;
for(long times : vs){
7、合并、排序 sum += times;
}
ctx.write(k, sum);
}
<k3,v3>
2.3 对reduce输出的<k,v>写到hdfs中。 hello 2
me 1
8、k、v写回hdfs you 1