2012年8月11日

Hadoop:The Definitive Guid 总结 Chapter 6 MapReduce的工作原理

摘要: 1.剖析MapReduce作业运行机制1).经典MapReduce--MapReduce1.0整个过程有有4个独立的实体客户端:提交MapReduceJobTracker:协调作业的运行TaskTracker:运行作业划分后的任务HDFS:用来在其他实体之间共享作业文件以下为运行整体图A.作业的提交JobClient的runJob是用于新建JobClient实例并调用其submitJob()方法的便捷方式,提交Job后,runJob()每秒轮询检测作业的进度,随时监控Job的运行状态。其中JobClient的submitJob()方法所实现的作业提交过程:向JobTracker请求一个新的作业 阅读全文

posted @ 2012-08-11 13:08 as_ 阅读(4359) 评论(0) 推荐(0) 编辑

UNP总结 Chapter 2 传输层:TCP、UDP和SCTP

摘要: 注,总结中暂时忽略SCTP1.总图虽然称为“TCP/IP”协议族,但是本协议族还有许多其他成员,见下图2.用户数据包协议(UDP)UDP 套接字写入一个消息,该消息接着被封装(encapsulating)进一个UDP数据报,该UDP数据报又进而被封装成一个IP数据报,然后发送到目的地。UDP不保证UDP数据报到达其最终目的地,不保证各个数据报的先后顺序跨网络保持不变,也不保证每个数据报只到达一次。用UDP进行网络编程所碰到的问题是缺乏可靠性,我们也称UDP提供无连接的(connectionless)服务,因为UDP客户与服务器不必存在长期的关系。3.传输控制协议(TCP)首先,TCP提供客户与 阅读全文

posted @ 2012-08-11 10:43 as_ 阅读(1564) 评论(0) 推荐(1) 编辑

导航