2017 年 10月 27 日随笔档案 - 饺子吃遍天

摘要：一。 MAP REDUCE执行原理 MapReduce主要分为三个阶段 Map阶段 Shuffle阶段 Reduce阶段 1》Map阶段：Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作... 阅读全文

posted @ 2017-10-27 12:46 饺子吃遍天阅读(223) 评论(0) 推荐(0) 编辑

摘要：一。 yarn架构 mapreduce从 0.2.3之后进行了重构，发布新的mapreduce 版本v2，也可以称为 yarn 引入了资源调度的概念之前的JobTracker 被拆分成了 Resouce Manager和ApplicationMaster... 阅读全文

posted @ 2017-10-27 08:56 饺子吃遍天阅读(175) 评论(0) 推荐(0) 编辑

饺子吃遍天