随笔分类 - YARN
摘要:一.什么是yarn Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 二.yarn的基本架构和角色 yarn主要由ResourceManager、NodeManager、Applic
阅读全文
摘要:0.HDFS-HA的工作机制 问题:因为hdfs的中心就是namenode,而我们的集群只有一台服务器安装了nn,如果这台服务器挂掉,整个集群瘫痪,这个就是典型的单点故障,搭建HA其实就是为了解决单点故障问题 解决办法:安装多台nn 此方案有如下问题需要解决? a)多个nn内部元数据的数据一致性的问
阅读全文