摘要: Yarn作为Hadoop集群中作为资源调度的角色可谓是意义重大。当然其实Yarn本身在搭建完成之后呢不太需要你去关注它什么,就像一个幕后工作者默默的工作不抛头露面。但是我们还是需要知道它的一些运行机制。我们就拿提交一个MapReduce来举例子。 我们知道yarn集群分为两大角色,ResourceM 阅读全文
posted @ 2014-01-16 17:13 笑城戈 阅读(319) 评论(0) 推荐(1) 编辑
摘要: MapReduce分布式计算系统,搭配yarn集群配合实现大数据计算任务。我们这里不讲MapReduce的代码具体实现,而是讲MapReduce的运行机制以及它的一些核心思想。了解了这些其实代码都很简单,只要有一些编程基础的人都会写得出那些代码。无非就是一堆文件的内容进行分解整合变换的过程代码。 M 阅读全文
posted @ 2014-01-16 16:19 笑城戈 阅读(150) 评论(0) 推荐(1) 编辑