Hadoop03

http://192.168.1.200:50070/dfshealth.jsp

http://192.168.1.200:50030/jobtracker.jsp

 

Hadoop启动完成之后，查看任务执行情况.

 

Apache Hadoop YARN(Yet Another Resource Negotiator，另一种资源协调者)是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处.

 

HDFS设计基础与目标

1. 硬件错误是常态，因此需要冗余。冗余的概念是融合在HDFS的基因中的.
2. 流式数据访问.即数据批量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。
3. 大规模数据集
4. 简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计.即文件一经写入，关闭，就再也不能修改；
5. 程序采用"数据就近"原则分配节点执行.

HDFS体系结构

1. NameNode
2. DataNode
3. 事务日志
4. 映像文件
5. SecondaryNameNode

官方帮助文档

淘宝数据魔方