HDFS介绍
一、HDFS概述
1、HDFS设计思想来源于Google的GFS，是GFS的开源实现。
2、HDFS要解决的问题：
-存储超大文件，比如TB级别
-防止文件丢失。
3、HDFS的特点
-可以存储超大文件
-只允许对一个已经打开的文件顺序写入，还可以在现有文件的末尾追加，要想修改一个文件(追加内容除外)，只能删除后再重写
-可以使用廉价的硬件平台搭建，通过容错策略来保证数据的高可用，默认存储3份数据，任何一份丢失可以自动恢复
4、HDFS的缺点：
-数据访问延迟比较高，因为它的设计场景是用于大吞吐量数据，HDFS是单master，所有文件都要经过它，当请求数据量很大时，延迟就增加了
-文件数受限，和NameNode有关系
-不支持多用户写入，也不支持文件任意修改
二、HDFS的核心概念
1、数据块(block):大文件会被分割成多个block进行存储，block大小默认为64MB，每一个block会在多个DataNode上存储多份副本，默认是3份。
2、NameNode：NameNode负责管理文件目录、文件和block的对应关系以及block和DataNode的对应关系。
3、SecondaryNameNode：分担NameNode的工作量，它的主要工作是合并fsimage(元数据镜像文件)和fsedits(元数据操作日志)然后在发给NameNode。
4、DataNode：DataNode就负责存储了，大部分容错机制都是在DataNode上实现的。
5、rack是指机柜的意思，一个block的三个副本通常会保存到两个或两个以上的机柜中(当然是机柜中的服务器)，这样做的目的是做防灾容错，因为发生一个机柜掉电或者一个机柜的交换机挂了的概率还是有的
三、HDFS写数据流程
1、Client向远程NameNode发起RPC请求
2、NameNode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会向客户端抛出异常
3、当客户端开始写入文件的时候，会将文件切分成多个packets，并向NameNode申请blocks，获取合适的DataNode列表。
4、此时会形成一个pipeline用来传输packet。
5、packet以流的方式写入第一个DataNode，该DataNode把packet存储之后，再将其传递给下一个DataNode，直到最后一个DataNode。
6、最后一个DataNode成功存储之后会返回一个ack传递至客户端，客户端确认ack后继续写入下一个packet
7、如果传输过程中，有某个DataNode出现了故障，那么当前的pipeline会被关闭，出现故障的DataNode会从当前的pipeline中移除，剩余的block会从省下的DataNode中继续以pipeline的形式传输，同时NameNode会分配一个新的DataNode。
四、HDFS读流程
1、Client向远程的NameNode发起RPC请求。
2、NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode都会返回有该block拷贝的DataNode地址。
3、Client会选取离自己最接近的DataNode来读取block。
4、读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode。
5、当读完列表的block后，且文件读取还没有结束，Client会继续想NameNode获取下一批的block列表。
6、读取完block会进行checksum验证，如果读取DataNode时出现错误，客户端会通知NameNode，然后再从下一个拥有该block拷贝的DataNode继续读。
五、推荐几篇文章：
1、HDFS的运行原理
http://blog.csdn.net/weixuehao/article/details/16967485
2、HDFS原理分析（一）—— 基本概念
http://my.oschina.net/shiw019/blog/92771
3、HDFS原理、架构与特性介绍
