HADOOP学习笔记（一）：HDFS

前言

HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

HDFS架构

NameNode

• 是整个文件系统的管理节点。 

　　　　它维护着整个文件系统的文件文件夹树，文件/文件夹的元信息和每个文件相应的数据块列表。

　　　　接收用户的操作请求。

• 文件包括： （详细查看 dfs.name.dir文件夹） 
  • 　　fsimage: 元数据镜像文件。 

　　　　　　　　存储某一时段NameNode内存元数据信息。

• • 　　edits: 操作日志文件。
  • 　　fstime: 保存近期一次checkpoint的时间
• 以上这些文件是保存在linux的文件系统中。

DataNode

• 提供真实文件数据的存储服务。
• 文件块（block）：最主要的存储单位。对于文件内容而言，一个文件的长度大小是size。那么从文件的０偏移開始，依照固定的大小，顺序对文件进行划分并编号，划分好的每个块称一个Block。HDFS默认Block大小是128MB。以一个512MB文件，共同拥有4个Block.
• 不同于普通文件系统的是，HDFS中。假设一个文件小于一个数据块的大小，并不占用整个数据块存储空间
• Replication。多副本。默认是三个。

SecondaryNameNode

• HA(High Availability 高可用性)的一个解决方式

  但不支持热备。

  配置就可以。

• 运行过程：从NameNode上下载元数据信息（fsimage,edits）。然后把二者合并。生成新的fsimage。在本地保存，并将其推送到NameNode，同一时候重置NameNode的edits.
• 默认在安装在NameNode节点上，但这样…不安全！ 

HDFS的数据流

写数据流程

1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

2）namenode返回是否可以上传。

3）客户端请求第一个 block上传到哪几个datanode服务器上。

4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。

5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成

6）dn1、dn2、dn3逐级应答客户端

7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答

8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）

读数据流程

1）客户端向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。

2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。

3）datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。

4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。

 命令行操作

（1）-help：输出这个命令参数

              bin/hdfs dfs -help rm

（2）-ls: 显示目录信息

　　　　hadoop fs -ls /

（3）-mkdir：在hdfs上创建目录

　　　　hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd

（4）-moveFromLocal从本地剪切粘贴到hdfs

　　　　hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd

（5）-moveToLocal：从hdfs剪切粘贴到本地

　　　　hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt

（6）--appendToFile  ：追加一个文件到已经存在的文件末尾

　　　　hadoop  fs  -appendToFile  ./hello.txt  /hello.txt

（7）-cat ：显示文件内容

（8）-tail：显示一个文件的末尾

　　　　hadoop  fs  -tail  /weblog/access_log.1

（9）-text：以字符形式打印一个文件的内容

　　　　hadoop  fs  -text  /weblog/access_log.1

（10）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

　　　　hadoop  fs  -chmod  666  /hello.txt

　　　　hadoop  fs  -chown  someuser:somegrp   /hello.txt

（11）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

　　　　hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/

（12）-copyToLocal：从hdfs拷贝到本地

　　　　hadoop fs -copyToLocal /aaa/jdk.tar.gz

（13）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

　　　　hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

（14）-mv：在hdfs目录中移动文件

　　　　hadoop  fs  -mv  /aaa/jdk.tar.gz  /

（15）-get：等同于copyToLocal，就是从hdfs下载文件到本地

　　　　hadoop fs -get  /aaa/jdk.tar.gz

（16）-getmerge  ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

　　　　hadoop fs -getmerge /aaa/log.* ./log.sum

（17）-put：等同于copyFromLocal

　　　　hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

（18）-rm：删除文件或文件夹

　　　　hadoop fs -rm -r /aaa/bbb/

（19）-rmdir：删除空目录

　　　　hadoop  fs  -rmdir   /aaa/bbb/ccc

（20）-df ：统计文件系统的可用空间信息

　　　　hadoop  fs  -df  -h  /

（21）-du统计文件夹的大小信息

　　　　hadoop  fs  -du  -s  -h /aaa/*

（22）-count：统计一个指定目录下的文件节点数量

　　　　hadoop fs -count /aaa/

（23）-setrep：设置hdfs中文件的副本数量

　　　　hadoop fs -setrep 3 /aaa/jdk.tar.gz

 HDFS API操作

详见github：https://github.com/gloomysun/hadoop-learning/tree/master/01-hdfs