hadoop 各种counter 解读
http://blog.sina.com.cn/s/blog_61ef49250100uxwh.html
经过了两天的休息与放松，精神饱满了吧？上星期我们学习了MapReduce的过程，了解了其基本过程，学会了如何在Ubuntu上搭建Hadoop环境，并测试了实例。今天我们来学些辅助性的东西，不然在测试实例时有些输出信息看不懂 :-)
我们今天要学的有三点：
* Counters
* Reporter
* StatusReporter
Counters是一种计数器，Hadoop框架提供三种Counter：
l Built-in Counters
l User-Defined Java Counters
l Dynamic Counters
Built-in Counters
Hadoop为每个作业（job）内建了多个计数器报告作业的多种指标。如图Figure1:
Figure1:Built-in Counters
Counters由与它关联的任务（task）来维护，并定期把它发送给tasktracker，接着再被发送到jobtracker，因此Counters能够被聚集起来（想想聚集起来干嘛？）。内建的Job Counters由jobtracker来维护，因此它不像其他Counters（包括用户自定义的Counters），它不需要通过网络传输。
Counter的值只有在作业（job）成功执行后才能最终确定。
User-Defined Java Counters
MapReduce允许用户自行定义一组Counters，从而控制Counters在mapper或reducer中的变化。Counters由Java的枚举类型定义，旨在方便将相关的Counters聚合在一起。一个作业（job）可能定义一组任意数量的枚举变量，每一个枚举变量定义任意数量的域。枚举变量的名为计数器组（group）的名，枚举变量的域为计数器（counter）的名。Counters属于全局范围：MapReduce框架通过所有的maps和reducers聚集所有的计数器，最后在作业（job）结束时产生一个Counters的总和。
Dynamic Counters
动态计数器不使用Java枚举类型（Enum）定义，因为Java枚举类型的域是在编译时定义的，不能在运行时使用enums创建新的计数器。在接口Reporter中有两个创建计数器的方法incrCounter:
public void incrCounter(String group, String counter, long amount)
public void incrCounter(Enum<?> key, long amount)
这个我们在下一节会进行详细介绍。
我们拿上次运行的实例的输出结果来看看Counters输出是怎样的，如图Figure2：
– MapReduce过程（2）" title="Hadoop – MapReduce过程（2）" height="351" width="690">
Figure2:实例输出结果
看到没有？在Job complete之后有Counters:18,这是代表18个计数器，由Figure1可得，这些计数器都是Built-in Counters。在Counters:18下面按计数器的类别输出这18个计数器和对应值。
要定义自己的计数器吗？不难，Hadoop有个实例wordcount可能实现你的愿望。如果不知道如何操作，可以参考这里。
Reporter是Map-Reduce应用程序用于报告进度、更新计数器和状态信息的机制。
Mapper或Reducer可以调用Reporter来报告进度，或者仅是表明自己运行正常，在那些需要花很长时间处理个别键值对的场景中，这种机制很重要，如果不是这样的话，框架可能会认为该任务超时，从而将它杀死。
Map-Reduce应用程序可以用Reporter来更新计数器（Counter），我们在上一节讲过Counters。
Figure3是Reporter类图：
– MapReduce过程（2）" title="Hadoop – MapReduce过程（2）" height="217" width="295">
Figure3：Reporter类图
getCounter(Enum<?>):根据计数器池内枚举变量的名称返回计数器；
getCounter(String, String):第一个参数是计数器池，第二个参数是计数器的名称，即分别指定计数器池和计数器名称来返回一个计数器（counter）;
getInputSplit:返回输入的分片（InputSplit），然后map读取这些分片；
incrCounter(Enum<?>, long):创建计数器或将已有的计数器按第二个参数的量增加；
incrCounter(String, String, long):创建计数器或将已有的计数器按第三个参数的量增加；
setStatus(String):将参数中的状态信息写到任务中；
这里我们主要看incrCounter方法，incrCounter方法有一个重载方法，第一个方法是根据计数器的key值（枚举类型）来递增计数器（counter），Hadoop将枚举类型转换成String类型，然后通过RPC协议发送计数器（Counter）。因为枚举类型容易操作，提供类型安全，适合大部分的作业，但使用该方法不能动态地创建新的计数器（counter）。要想在运行时（动态）也能创建新的计数器（counter），就应该使用：
incrCounter(String group, String counter, long amount)
该方法需要指定计数器池，计数器名和增量。
从Reducer类的内部类Context可以看到，其中有一个参数为StatusReporter。StatusReporter对象能通知Hadoop Map-Reduce框架当前作业的执行状态。如果需要较长时间执行map方法或reduce方法，它们就得定期地调用StausReporter对象，通知Hadoop Map-Reduce框架map方法或reduce方法的执行状态。如果一个任务在10分钟内没过发出任何报告，Hadoop会强制关闭该任务。StatusReporter是一个抽象类，提供了四个抽象方法：两个getCounter方法，progress方法和setStatus方法。Figure4是StatusReporter类图：
– MapReduce过程（2）" title="Hadoop – MapReduce过程（2）" height="151" width="242">
Figure4：StatusReporter类图
getCounter(Enum<?>):根据枚举类型的计数器名返回计数器；
getCounter(String, String):根据指定的计数器池和计数器名返回计数器
progress():报告任务当前进度
setStatus(String):将参数中的状态信息写到任务中
我们知道，每一个Counter由一个枚举值命名并保存一个long类型的值，它是由Map-Reduce框架或应用程序定义的全局计数器。同一特定的Enum类型的Counter可以汇集到一个组，其类型为Counters.group。
这个类作大概了解就行了，单个来看StatusReporter只是一个抽象类，不提供任何操作。但是它是TaskInputOutputContext的域，而TaskInputOUtputContext是MapContext和ReduceContext的父类。我们在上一篇笔记中说到Mapper：：Context和Reducer：：Context，但没详细将ContextMapContext和ReduceContext，现在我们来看看这几个类的关系，Figure5是它们的关系图：
Figure5：类关系图
图中可以看到，两个Context中包含了很多参数，其中一个是StatusReporter，该参数就包含当前任务的进度和状态信息。它会定期地向Hadoop Map-Reduce框架发送当前任务的进度和状态信息，这样就能使得框架随时了解到任务的信息，不会因为有些任务执行时间过长而将它杀死。
Reporter、Counters和StatusReporter对于我们了解Hadoop Map-Reduce框架很重要，没有它们的话我们就不能掌握Map-Reduce过程，也不知道Map-Reduce做了些什么。而且Counters的作用远远不止如此，既然是计数器，当然可以进行统计学方面的应用，比如WordCount就是一个很好的例子。好了，今天就学习到这里。
