1.HDFS分布式文件系统
- HDFS概述及设计目标
- 如果让我们自己设计一个分布式文件存储系统,怎么做?
- HDFS设计目标
- 非常巨大的分布式文件系统
- 运行在普通廉价的硬件上
- 易扩展,为用户提供性能不错的文件存储系统
- HDFS架构
Master(NameNode/NN),带N个Slaves(DataNode/DN)
HDFS/YARN/HBase 架构一样
1个文件会被拆分成多个Block
blocksize :128M
130M ==》 2个block :128M 和2M
NameNode:
1.负责客户端请求的响应
2.负责元数据(文件的名称,副本系数,Block存放的DN)的管理
DN:
1.存储用户的文件对应的数据块(Block)
2.要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况
- HDFS副本机制
-
- HDFS 副本存放策略
- HDFS环境搭建
下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
版本号:hadoop-2.6.0-cdh5.7.0
安装指导:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html
帮助链接 :http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
-
- Hadoop伪安装步骤
etc/hadoop/core-site.xml:
etc/hadoop/hdfs-site.xml:
etc/hadoop/slaves(单机暂时不需要,但是集群很重要的参数,有多少的datanode,就把对应的主机名写道这个配置文件)
修改localhost 为 hadoop000
-
- haddop 启动