hdfs的基本原理和基本操作总结

                                                                                                                     

                                                                                hdfs基本原理

Hadoop分布式文件系统(HDFS)被设计成适合执行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有非常多共同点。

但同一时候，它和其它的分布式文件系统的差别也是非常明显的。

HDFS是一个高度容错性的系统，适合部署在便宜的机器上。HDFS能提供高吞吐量的数据訪问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最開始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。

并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样能够实现流的形式訪问（streaming access）文件系统中的数据。

HDFS的主要组成：NameNode,SecondaryNameNode,DataNonde;

HDFS的基本操作：读、写、均衡；

图1，NameNode

图2。SecondaryNameNode

 

图3，client的读请求

 

图4，读取DataNode上的块

图5。写文件请求

 

图6。准备写

 

图7，单块的管线式写入数据节点

图8，多块的管线式写入数据节点

图9 重写损坏的数据块副本

图10 不均衡的集群

图11 均衡的集群

    

     执行在HDFS之上的程序有非常大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件。

它应 该提供非常高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。                                                       

       大部分的HDFS程序对文件操作须要的是一次写多次读取的操作模式。

一个文件一旦创建、写入、关闭之后就不须要改动了。这个假定简单化了数据一致的问题和并使高吞吐量的数据訪问变得可能。一个Map-Reduce程序或者网络爬虫程序都能够完美地适合这个模型。                                                                                                                                                                                                                       

       HDFS是一个主从结构，一个HDFS集群是由一个名字节点，它是一个管理文件命名空间和调节client訪问文件的主server。当然另一些数据节点，一般是一个节点一个机器，它来管理相应节点的存储。HDFS对外开放文件命名空间并同意用户数据以文件形式存储。内部机制是将一个文件切割成一个或多个块，这些块被存储在一组数据节点中。名字节点用来操作文件命名空间的文件或文件夹操作，如打开，关闭，重命名等等。它同一时候确定块与数据节点的映射。数据节点负责来自文件系统客户的读写请求。数据节点同一时候还要运行块的创建，删除，和来自名字节点的块复制指令。                                                                                                                     

         名字节点和数据节点都是执行在普通的机器之上的软件。机器典型的都是GNU/Linux。HDFS是用java编写的。不论什么支持java的机器都能够执行名字节点或数据节点，利用java语言的超轻便型。非常easy将HDFS部署到大范围的机器上。典型的部署是由一个专门的机器来执行名字节点软件，集群中的其它每台机器执行一个数据节点实例。

体系结构不排斥在一个机器上执行多个数据节点的实例，可是实际的部署不会有这样的情况。集群中仅仅有一个名字节点极大地简单化了系统的体系结构。

名字节点是仲裁者和全部HDFS元数据的仓库。用户的实际数据不经过名字节点。                                                                                                                                                  

         HDFS是一个不错的分布式文件系统，它有非常多的长处，但也存在有一些缺点，包含：不适合低延迟数据訪问、无法高效存储大量小文件、不支持多用户写入及随意改动文件。                                                                                                                                              

      

                                                                                  HDFS 经常使用的基本操作命令                                      

1，HDFS  Shell                                                                                                                                                                                               

    查看 hadoop fs                                                                                                                                                                           

2, 常见命令                                                                                                                                                                                                                                                                                                                                                                                                                        

-ls 显示当前文件夹结构

    该命令选项表示查看指定路径的当前文件夹结构，后面跟hdfs 路径，如图所看到的。

   上图中的路径是hdfs 根文件夹，显示的内容格式与linux 的命令ls –l 显示的内容格式很相似，解析每一行的内容格式：                                                                                         

                                    1. 首字母表示目录(假设是“d”)还是文件（假设是“-”）。                                                                                                                       2. 后面的9 位字符表示权限；                                                                                                                                       

         3. 后面的数字或者“-”表示副本数。

假设是文件。使用数字表示副本数。目录没有副本；

4. 后面的“root”表示属主。                                                                                                             

5. 后面的“supergroup”表示属组 。                                                                                             

6. 后面的“0”、“6176”、“37645”表示文件大小，单位是字节 ；                                          

7. 后面的时间表示改动时间，格式是年月日时分；                                                                 

8. 最后一项表示文件路径。                                                                                                            

-du 统计文件夹下各文件大小

-mv 移动

该命令选项表示移动hdfs 的文件到指定的hdfs 文件夹中。

后面跟两个路径，第一个表示源文件，第二个表示目的文件夹。

-cp 复制

该命令选项表示复制hdfs 指定的文件到指定的hdfs 文件夹中。

后面跟两个路径。第一个是被复制的文件，第二个是目的地

-rm 删除文件/空白目录

该命令选项表示删除指定的文件或者空文件夹

-rmr 递归删除

该命令选项表示递归删除指定文件夹下的全部子文件夹和文件

-put 上传文件

该命令选项表示把linux 上的文件拷贝到hdfs 中

-copyFromLocal 从本地复制

操作与-put 一致

-moveFromLocal 从本地移动

该命令表示把文件从linux 上移动到hdfs 中

getmerge 合并到本地

该命令选项的含义是把hdfs 指定文件夹下的全部文件内容合并到本地linux 的文件里

-cat 查看文件内容

该命令选项是查看文件内容

-text 查看文件内容

该命令选项能够觉得作用和使用方法与-cat 同样，此处略。

       -mkdir 创建空白目录

该命令选项表示创建目录，后面跟的路径是在hdfs 将要创建的目录

-setrep 设置副本数量

该命令选项是改动已保存文件的副本数量，后面跟副本数量，再跟文件路径

-touchz 创建空白文件

该命令选项是在hdfs 中创建空白文件

-stat 显示文件的统计信息

该命令选项显示文件的一些统计信息

-tail 查看文件尾部内容

该命令选项显示文件最后1K 字节的内容。

一般用于查看日志。假设带有选项-f，那么当文件内容变化时，也会自己主动显示

-chmod 改动文件权限

该命令选项的使用类似于linux 的shell 中的chmod 使用方法，作用是改动文件的权限

-chown 改动属主

该命令选项表示改动文件的属主

-help 帮助

该命令选项会显示帮助信息。后面跟上须要查询的命令选项就可以

3。数据的读写过程

管线式（PipeLine）写入：当client写数据到HDFS文件里时，数据首先被写入本地文件里。如果HDFS文件的复制因子是3。当本地文件堆积到一块大小的数据，client从名字节点获得一个数据节点的列表。这个列表也包括存放数据块副本的数据节点。当client刷新数据块到第一个数据节点。

第一个数据节点開始以4kb为单元接收数据，将每一小块都写到本地库中，同一时候将每一小块都传送到列表中的第二个数据节点。同理。第二个数据节点将小块数据写入本地库中同一时候传给第三个数据节点，第三个数据节点直接写到本地库中。一个数据节点在接前一个节点数据的同一时候。还能够将数据流水式传递给下一个节点，所以，数据是流水式地从一个数据节点传递到下一个。 因此，三个节点的写数据完毕的时间相几乎相同。