摘要:
Yarn系统原理 Yarn主要就是将JobTracker的两个主要功能分离成单独的组件:资源管理、任务调度/监控 RM,ResourceManager,全局管理 NM,NodeManager,节点管理 AM,ApplicationMaster,单个应用管理 Container,单个任务的资源管理 R 阅读全文
摘要:
Hive系统介绍 Hive是基于Hadoop的数据仓库 Hive方便使用SQL来执行读取、写入、管理基于分布式存储的大型数据集 可以基于存储数据来构建数据结构,提供命令行和JDBC两种开发方式 Hive的设计思想 Hive不是数据库,是数据仓库,它的设计是围绕数据分析,而不是数据存储,或者说Hive 阅读全文
摘要:
HDFS主要有NameNode和多个datanode节点组成。 架构模型: HDFS的设计思想 数据存储:元数据(metadata)+应用数据(applicationdata) 服务节点:名字节点(NameNode)+数据节点(DataNode) 服务架构:主从结构(Master/Slave), N 阅读全文