摘要：
HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。目前实现的副本存放策略只是在这个方向上的第一步。实现这个策略的短期目标是验证它在生产环境下的有效性，观察它的行为，为实现更先进的策略打下测试和研究的基础。 大型HDFS集群系统往往运行在跨越多个机 阅读全文
摘要：
安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。 当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数（即参数dfs.replication）是5，那么在datanode上就应该有5个副本存在，假设只存在3个副本，那么比例就是3/ 阅读全文
摘要：
1.client向yarn提交job，首先找ResourceManager分配资源， 2.ResourceManager开启一个Container,在Container中运行一个Application manager 3.Application manager找一台nodemanager启动Appl 阅读全文
摘要：
服务功能 ResouceManager： 1、处理客户端的请求 2、启动和监控ApplicationMaster 3、监控nodemanager 4、资源的分配和调度 Nodemanager 1、处理单个节点的资源管理 2、处理来自ResouceManager的命令 3、处理来自Applicatio 阅读全文
摘要：
Hive 表类型简述 Hive 表类型简述 Hive 表类型简述 Hive 表类型简述 表类型一、管理表或内部表Table Type: MANAGED_TABLE example: create table Inner(id int,name string,description string) / 阅读全文
摘要：
Hive表有受控表(内部表)、外部表、分区表、桶表四种。 内部表，就是一般的表，前面讲到的表都是内布标，当表定义被删除的时候，表中的数据随之一并被删除。 外部表，数据存在与否和表的定义互不约束，仅仅只是表对hdfs上相应文件的一个引用，当删除表定义的时候，表中的数据依然存在。 创建外部表，exter 阅读全文