Hadoop简介（一）

Hadoop组成#

Hadoop有两个主要部分：

数据处理框架(MapReduce)

分布式数据存储文件系统（HDFS）

特点#

适合的场景：

1. 大文件存储（TB，甚至PB）

2. 一次写，多次读（写入的数据无法进行更改，只在文件尾部添加数据）

3. 硬件要求低（适合多台廉价服务器搭建）

不适合的场景：

1. 低延时数据访问

2. 太多的小文件

3. 多次改写

原理#

1. 一个大文件被划分成多个大小固定的文件块，分布的存储在集群的节点中（便于横向扩展容量）

2. 同一个文件块在不同的节点中有多个副本（防止某个节点文件错误、丢失；加速计算）

3. 有一个集中的地方保存文件的分块信息

HDFS#

HDFS(Hadoop Distributed File System)，即Hadoop分布式文件系统。

在HDFS中，namenode是总节点，用于保存文件的分块信息，负责管理多个datanode。namenode有两个：active-namenode和standby-namenode，这两个节点以主从方式工作，当active-namenode出现问题时，standby-namenode会替代active-namenode。

HDFS架构图：

从上图中我们可以看出，client要访问HDFS中的文件，首先需要向namenode询问文件的分块信息，然后再到具体的datanode中去访问。

一些概念#

Block:一个文件分块，默认为64M

Namenode:保存整个文件系统的目录信息，文件信息以及文件响应的分块信息。

Datanode:用于存储Blocks

HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。如果NameNode中的数据丢失，整个HDFS中的文件都丢失。2.x开始，HDFS支持NameNode的active-standby模式。

MapReduce

1.原理，以求和为例：