摘要: YARN是资源管理系统,理论上支持多种资源,目前支持CPU和内存两种资源 YARN产生背景 直接源于MRv1在几个方面的缺陷 扩展性受限 单点故障 难以支持MR之外的计算 多计算框架各自为战,数据共享困难 MR:离线计算框架 Storm:实时计算框架 Spark:内存计算框架 YARN设计目标 通用 阅读全文
posted @ 2018-01-15 10:46 啸傲风月 阅读(377) 评论(0) 推荐(0) 编辑
摘要: Zookeeper是什么 Zookeeper是什么 是一个针对大型分布式系统的可靠协调系统; 提供的功能包括:配置维护、名字服务、分布式同步、组服务等; 目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户; Zookeeper已经成为Hadoop生态系统中的基础 阅读全文
posted @ 2018-01-15 10:44 啸傲风月 阅读(269) 评论(0) 推荐(0) 编辑