摘要: 第一部分:MapReduce工作原理MapReduce 角色•Client :作业提交发起者。•JobTracker: 初始化作业,分配作业,与TaskTracker通信,协调整个作业。•TaskTracker:通过心跳heartbeat保持JobTracker通信,在分配的数据片段上执行MapRe... 阅读全文
posted @ 2015-11-01 10:56 Entropy_lxl 阅读(341) 评论(0) 推荐(0) 编辑
摘要: MapReduce中作业调度机制主要有3种:1.先入先出FIFO Hadoop 中默认的调度器,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。2.公平调度器(相当于时间片轮转调度) 为任务分配资源的方法,其目的是随着时间的推移,让提交的作业获取等量的集群共享资源,让用户公平地... 阅读全文
posted @ 2015-11-01 10:45 Entropy_lxl 阅读(2596) 评论(0) 推荐(0) 编辑