Hadoop Map/Reduce Overview
Hadoop MapReduce是一个软件框架(framwork),这个架构的目的是方便程序员在大规模集群(可大到上千台结点)上处理超大规模数据(可多到数T),而且MapReduce的可靠性和fault-tolerant特性都很好。
一个MapReduce job 会把输入数据分割成独立的若干块,这些数据块由map tasks并行处理。MapReduce framework把map task的输出进行排序,作为reduce task的输入。通常job的输入和输出都被保存在文件系统中。Framework负责调度,监控这些任务,而且会重复执行那些失败的task。
一般情况下,计算集群和存储集群是一样的,也就是说,MapReduce framework和HDFS是在同一批集群上运行的。这样配置能够让framwork在已经有数据的nodes上面调度tasks,这样使得集群的带宽得到很好的利用。
MapReduce框架由以下组件组成:single master JobTracker,加上集群的每个node上运行着一个slave TaskTracker。Master的职责是调度并监控那些在slave上运行的task,同时对于失败的task,还要尝试着重新执行。Slave只需要简单的执行master分配来的task既可。
应用程序至少要制定输入输出的路径,并且实现map和reduce接口/抽象类。还有一些其他的配置,组成了job configuration。然后Hadoop job client把job(可执行的jar包等等)提交,并且配置JobTracker使得它把jar包以及配置文件传到slave上去,并且调度和监控tasks。
尽管Hadoop框架是用JavaTM 实现的,但是MapReduce应用程序却不一定非得用Java写。
- Hadoop Streaming是一个MapReduce工具,它可以让使用者用任何可执行文件(例如shell)作为mapper/reducer来创建运行Jobs。
- Hadoop Pipes 是一套用C++实现的MapReduce API