HDFS读写数据流程

HDFS读写数据流程

标签（空格分隔）： Apache Hadoop

---

HDFS是hadoop重要的组件之一，对其进行数据的读写是很常见的操作，然而真的了解其读写过程吗？

前言

HDFS – Hadoop Distributed File System，是hadoop的存储层，它参照google的GFS思想实现。

它以master-slave工作。NameNode作为master daemon，工作在master node上，DataNode作为slave daemon，工作在slave node上。master 之间在 HDFS 2.X.X 版本实现HA 高可用。

一，写HDFS

1. 流程图

2. 重要概念

HDFS一个文件由多个block构成。或者说一个文件会被切分成按照HDFS block 大小的多个块去存储。

HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。

每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。

在写入一个block的时候，数据传输的基本单位是packet，每个packet由若干个chunk组成。

3. 过程步骤

1） HDFS client发送一个create请求给DistributedFileSystem API

2）DistributedFileSystem 使用一个RPC请求，通知NameNode在其命名空间创建一个新文件（会遇到全局锁，后续会讲到）。

此时，NameNode会进行一系列的check，如是否有权限，文件是否已经存在。 当通过check后，NameNode创建一个新的文件，状态为under construction，没有任何data block与之对应，否则，抛出一个IO异常

3）DistributedFileSystem 返回一个 FSDataOutputStream 给client，让它开始写入数据。

FSDataOutputStream的成员变量dfs类型为DFSClient，DFSClient在创建时，会构造一个DFSOutputStream。 当client开始写数据时， DFSOutputStream 会将file分割成 packets，然后把 packets都放在一个队列中，这个队列叫做data queue。 data queue会被DataStreamer消费。DataStreamer的负责就是，通过挑选一系列合适的datanode来存储副本，从而要求NameNode分配新的blocks。

4）一系列合适的datanode 表现为一个pipeline。假如此时备份级别是3，那么在pipeline中就有3个node。 DataStreamer将这些packets以流式传入pipeline中的第一个datanode。 这些packets将会存储在第一个datanode中。 然后因为第一个datanode中存放了第二个datanode的地址，所以它会在接收client传来的下一个packet时，会将自己已经收到的packet写入第二个datanode中。 以此类推，每个datanode在接收上级（client或者datanode）的写时，自己也会担负起写下级datanode的责任。 所以这样看来，packet对datanode的写，其实是并行的。

5）DFSOutputStream同时也维护了一个内部队列，叫做ack queue，它里面存放了所有要被datanodes确认的packets。 只有当一个packet被pipeline中的datanodes确认后，这个packet才会从ack queue中删除。 一旦需要的副本数量被创建，datanodes就会发送acknowledgment。

6）当client结束了写数据，它会在流上调用一个close()。

7） 这个close的动作，会flush所有剩余的packets到datanodes pipeline中，然后等待datanodes的acknowledgments，最后给namenode发信号说文件已完成。 namenode已经知道了文件是由哪些block组成的，所以在返回成功之前，它只需要等待那些块被最小的备份就可以了。

4. 容错过程

这部分 是大部分人比较忽视的。
当在向 datanode 写入数据失败时，将执行以下操作，这些操作对于写入数据的客户端是透明的。

首先，关闭管道，并将ack队列中的任何数据包添加到数据队列的前面，以便故障节点下游的数据节点不会丢失任何数据包。
当前块的 datanode 如果是良好的话，这个块会被赋予一个新的标识，该标识被传送到 namenode，以便如果稍后恢复失败的 datanode 时，可以将失败的 datanode 上的失败块删除。
datanode 失败的话，它将从管道中删除，然后块的其余数据将写入管道中的两个良好数据节点。
namenode 注意到该块未被复制，并且它安排在另一个节点上创建另一个副本，然后它将后续块视为正常。
客户端写入块时，多个数据节点失败是可能的， 只要它写入dfs.replication.min（默认为1），写入就会成功，并且该块将在群集中异步复制，直到达到目标复制因子（dfs.replication，默认为3）。异步复制线程会在namenode 5min 启动一次。将需要复制的块添加到复制队列。

二，读HDFS

1. 流程图

2. 过程步骤

1） client 读取目标文件，是通过一个FileSystem对象的open()方法。这个FileSystem对象，对HDFS来讲，就是一个DistributedFileSystem。

2）DistributedFileSystem 使用一个RPC请求，询问NameNode文件前几个block的位置。

对于每个block，namenode会根据就近原则，返回那些离client较近（根据friendly 去计算块的距离远近），而且也存储了该block的datanode地址。

3）DistributedFileSystem 返回一个 FSDataInputStream给client，让client通过它来读取文件。

FSDataOutputStream包裹了一个DFSInputStream。DFSInputStream会来管理与datanode和namenode的I/O。 client在流上调用read()。已经存储了datanode地址的DFSInputStream，接着就会连接存储文件第一个block的、且距离最近的datanode。

4）数据会以流式传回client，因此client可以在流上重复调用read。 当这个block结束后，DFSInputStream会关闭和datanode的连接，然后找到对下个block而言最好的datanode。

5）如果DFSInputStream在和datanode交流时，发生了错误，它就会尝试下一个离它最近的datanode。 DFSInputStream会记下那些失败的datanodes，以免之后的block们对它们不必要的请求。 DFSInputStream同时会对从datanode传回的数据进行验证。如果它发现了损坏的block，它想namenode报告这个情况，然后再去请求词block的下一个备份的datanode。

6）当client结束了读数据，它会在流上调用一个close()。

参考链接

Hadoop HDFS Data Read and Write Operations: https://data-flair.training/blogs/hadoop-hdfs-data-read-and-write-operations/
HDFS读写文件流程: https://blog.csdn.net/qq_20641565/article/details/53328279
HDFS dfsclient写文件过程 源码分析: http://www.cnblogs.com/ggjucheng/archive/2013/02/19/2917020.html