摘要：
Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker 阅读全文
摘要：
HDFS存储模型 以字节形式存储 文件线性切割成块（Block）:偏移量 offset （byte） Block分散存储在集群节点中 单一文件Block大小一致，文件与文件可以不一致 Block可以设置副本数，副本无序分散在不同节点中 副本数不要超过节点数量 文件上传可以设置Block大小和副本数（ 阅读全文
摘要：
HDFS写流程 Client 切分文件Block 按Block线性和NN获取DN列表（副本数） 验证DN列表后以更小的单位流式传输数据 各节点，两两通信确定可用 Block传输结束后 DN向NN汇报Block信息 DN向Client汇报完成 Client向NN汇报完成 获取下一个Block存放的DN 阅读全文