摘要：
简介 一种分布式的计算方式指定一个Map（映#x5C04;）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组 Pattern map: (K1, V1) → list(K2, V2) combine: (K2, lis 阅读全文
摘要：
YARN是开源项目Hadoop的一个资源管理系统，最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题，但是现在它已经是一个更加通用的资源管理系统，可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上，通过YARN来管理资源。如果你的应用程序也需要借助YARN 阅读全文
摘要：
Hadoop - YARN 旧的MapReduce架构 JobTracker: 负责资源管理，跟踪资源消耗和可用性，作业生命周期管理（调度作业任务，跟踪进度，为任务提供容错） TaskTracker: 加载或关闭任务，定时报告认为状态 此架构会有以下问题： 总的来说就是单点问题和资源利用率问题 YA 阅读全文