摘要: 一、MRv1 Master - Slave 模式 存在JobTracker单点失败的问题,在YARN得到了解决。 主要包含4部分:JobTracker,TaskTracker,Task,Client JobTracker:负责整个MR集群的资源监控和作业调度,集群的Master。它把任务进度 和 资 阅读全文
posted @ 2017-06-26 01:20 mzzcy 阅读(480) 评论(0) 推荐(0) 编辑
摘要: 一、梗概: 源于Google GFS论文(03年)。 Master - Slave 模式 优点: 超大文件 高容错 适合大数据的批处理(流式访问) 缺点: 高延时访问 小文件存储(元信息,寻道时间大) 不能多用户写,文件不能随机修改,只能追加(不支持并发写入,只能一个线程写入) 数据块blcok: 阅读全文
posted @ 2017-06-26 00:55 mzzcy 阅读(162) 评论(0) 推荐(0) 编辑