2013年7月29日
摘要: HADOOP-IPC(这里说的是1.0.4版本) 是轻量级RPC,在hadoop中主要用于2方面 1、TaskTracker和JobTracker 通讯。 2、NameNode和DataNode通讯。 3、DataNode和DataNode通讯。作者的意图是尽量暴露细节参数给用户从而达到增加灵活性(比如连接超时设置、并发业务处理器数量、队列长度设置等)。核心代码3000行左右。采用基于java-NIO非阻塞方式,设计中间有一些细节是很值得学习的。下图展示了IPC总体设计方式(其实是网路服务器架构方式,缺少业务处理模handler)一些细节: 1、hadoop更新版本迅速,所以I... 阅读全文
posted @ 2013-07-29 14:11 真心的不懂 阅读(898) 评论(0) 推荐(0) 编辑