2014年7月8日
HDFS详解（2）——HDFS中的读写数据流
摘要： 1.文件的读取在客户端执行读取操作时，客户端和HDFS交互过程以及NameNode和各DataNode之间的数据流是怎样的？下面将围绕图1进行具体讲解。 图 1 客户端从HDFS中读取数据1）客户端通过调用FileSystem对象中的open()函数来读取它做需要的数据。FileS... 阅读全文
posted @ 2014-07-08 21:23 shihuai355 阅读(4320) 评论(0) 推荐(0) 编辑
Yarn（MapReduce V2）
摘要： 这里我们先说一下MapReduce V1的局限性：JobTracker单点瓶颈。MapReduce中的JobTracker负责作业的分发、管理和调度，同时还必须和集群中所有的节点保持Heartbeat通信，了解机器的运行状态和资源情况。很明显，MapReduce中独一无二的JobTracker负责了... 阅读全文
posted @ 2014-07-08 21:22 shihuai355 阅读(997) 评论(0) 推荐(0) 编辑