想太多先森 - 博客园

2017年6月25日

摘要：阅读全文

posted @ 2017-06-25 23:23 想太多先森阅读(139) 评论(0) 推荐(0) 编辑

摘要： MapReduce内部机制：本地性什么是数据本地性（data locality） > 如果任务运行在它将处理的数据所在的节点，则称该任务具有“数据本地性” 本地性可避免跨节点或机架数据传输，提高运行效率数据本地性分类 > 同节点(node-local) 同机架(rack-local) 其他（o 阅读全文

posted @ 2017-06-25 23:02 想太多先森阅读(138) 评论(0) 推荐(0) 编辑

MapReduce03

摘要： MapReduce 2.0基本架构 Client > 与MapReduce 1.0的Client类似，用户通过Client与YARN 交互，提交MapReduce作业，查询作业运行状态，管理作业等。 MRAppMaster > 功能类似于 1.0中的JobTracker，但不负责资源管理；功能包阅读全文

posted @ 2017-06-25 22:00 想太多先森阅读(119) 评论(0) 推荐(0) 编辑

MapReduce02

摘要： MapReduce实现 Input: 一系列key/value对用户提供两个函数实现: map(k,v) ->list(k1,v1) reduce(k1, list(v1)) -> v2 (k1,v1) 是中间key/value结果对 Output：一系列(k2,v2)对 MapReduce编程模阅读全文

posted @ 2017-06-25 14:41 想太多先森阅读(157) 评论(0) 推荐(0) 编辑

MapReduce01

摘要： Hadoop内核 | MapReduce(分布式计算框架) 源于Google的MapReduce论文 > √发表于2004年12月 √Hadoop MapReduce是Google MapReduce克隆版 MapReduce特点 > √良好的扩展性 √高容错性 √适合PB级以上海量数据的离线处理阅读全文

posted @ 2017-06-25 13:12 想太多先森阅读(136) 评论(0) 推荐(0) 编辑

2017年6月24日

YARN

摘要： Hadoop内核 | YARN (资源管理系统) YARN是什么? √Hadoop2.0新增系统 √负责集群的资源管理和调度 √使得多种计算框架可以运行在一个集群中 YARN的特点 √良好的扩展性、高可用性 √对多种类型的应用程序进行统一管理和调度 √自带了多种多用户调度器，适合共享集群环境 Res 阅读全文

posted @ 2017-06-24 22:58 想太多先森阅读(131) 评论(0) 推荐(0) 编辑

HDFS04

摘要： HDFS副本放置策略一个文件划分成多个block，每个 block存多份，如何为每个block选择节点存储这几份数据？ Block副本放置策略： √副本1：同Client节点上 √副本2：不同机架的节点上 √副本3：与第二个副本同一机架的另一个节点上 √其他副本：随机挑选 HDFS不适合存储小文阅读全文

posted @ 2017-06-24 22:18 想太多先森阅读(91) 评论(0) 推荐(0) 编辑

HDFS03

摘要： HDFS数据块(block) 文件被切分成固定大小的数据块 > √默认数据块大小为64MB，可配 √若文件大小不到64MB，则单存成一个block 为何数据块如此之大 > √数据传输时间超过寻道时间（高吞吐率）一个文件存储方式 > √按大小被切分成若干个block，存储到不同的节点上 √默认情况下阅读全文

posted @ 2017-06-24 21:41 想太多先森阅读(101) 评论(0) 推荐(0) 编辑

HDFS02

摘要：读取流程写流程 SecondaryNameNode Namenode的一个快照周期性的备份namenode 记录namenode中的metadata及其它数据可以用来恢复Namenode HDFS优点高容错性 > √数据自动保存多个节点 √备份丢失后，自动恢复适合批处理 > √移动计算而非阅读全文

posted @ 2017-06-24 18:00 想太多先森阅读(105) 评论(0) 推荐(0) 编辑

HDFS01

摘要： NameNode 管理文件系统的命名空间记录每个文件数据在各个DataNode上的位置和副本信息协调客户端对文件的访问 NameNode文件解析 > VERSION 版本信息，文件系统标识符 seen_txid 事务管理用文件 fsimage_* 元数据文件 fsimage_*.md5 元数据文阅读全文

posted @ 2017-06-24 17:29 想太多先森阅读(109) 评论(0) 推荐(0) 编辑

@想太多先森

公告