摘要：
本文约定：DN: DataNodeTT: TaskTrackerNN: NameNodeSNN: Secondry NameNodeJT: JobTracker本文介绍Hadoop各节点和Client之间通信协议。Hadoop的通信是建立在RPC的基础上，关于RPC的详解介绍大家可以参照"hadoo... 阅读全文
摘要：
Hadoop中MapReduce 的执行也是采用Master/Slave 主从结构的方式。其中JobTracker 充当了Master的角色，而TaskTracker 充当了Slave 的角色。Master负责接受客户端提交的Job，然后调度Job的每一个子任务Task运行于Slave上，并监控... 阅读全文
摘要：
一. MapReduce 作业处理过程概述 当用户在使用Hadoop 的 MapReduce 计算模型处理问题的时候，只需要设计好Mapper 和Reducer 处理函数，还有可能包括Combiner 函数。之后，新建一个Job 对象，并对Job 的运行环境进行一些配置，最后调用Job 的waitF... 阅读全文
摘要：
MapReduce 是一个计算模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于Key/Value pair 的数据集合，输出中间的基于Key/Value pair的数据集合，然后再创建一个Reduce 函数用来合并所有的具有相同中间Key值的中间Val... 阅读全文