摘要: MapReduce作业的调度历史发展:①按照作业的提交顺序执行,即先进先出(FIFO)调度算法来运行作业;存在的问题,一些阻塞型任务会持续占有资源,使得任务无法进行。可以类似单线程相对于多线程存在的阻塞问题。②作业优先级调度算法;存在的问题:优先级不支持抢占,仍然存在上一个算法的阻塞问题;③MapR 阅读全文
posted @ 2018-11-04 17:16 上海小墨子 阅读(722) 评论(0) 推荐(0) 编辑
摘要: 如要了解hadoop的运行机制过程, 需要先了解几个概念: mapreduce中概念: 1、首先用户程序(JobClient)提交了一个job,job的信息会发送到Job Tracker,Job Tracker是Map-reduce框架的中心,他需要与集群中的机器定时通信heartbeat,需要管理 阅读全文
posted @ 2018-11-04 15:36 上海小墨子 阅读(1506) 评论(0) 推荐(0) 编辑