大数据之Hadoop

Hadoop 概述

1、Hadoop是什么

• Hadoop是一个由Apache基金会开发的分布式系统基础架构；

• 主要解决海量数据的存储和分析计算问题；

• 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈；

 

Hadoop 三大发行版本

• Apache：版本最原始（最基础）的版本，对于入门学习最好。2006
• Cloudera：内部集成了很多大数据框架，对应产品 CDH。2008
• Hortonworks：文档较好，对应产品 HDP。2011（Hortonworks 现在已经被 Cloudera 公司收购，推出新的品牌 CDP）

2、Hadoop 优势

• 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。

• 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。

• 高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。

• 高容错性：能够自动将失败的任务重新分配。

3、Hadoop 组成

【Hadoop1.x、2.x、3.x区别】

• 在 Hadoop1.x 时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。

• 在 Hadoop2.x 时代，增加了Yarn。Yarn只负责资源的调度 ，MapReduce只负责运算。

• Hadoop3.x在组成上没有变化。

（1）HDFS 架构

Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。

• NameNode(nn)：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。

• DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。

• Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。

（2）YARN 架构

Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。

• ResourceManager（RM）：整个集群资源（内存、CPU等）的老大

• NodeManager（NM）：单个节点服务器资源老大

• ApplicationMaster（AM）：单个任务运行的老大

• Container：容器，相当一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等

（3）MapReduce 架构

MapReduce 将计算过程分为两个阶段：Map 和 Reduce

• Map 阶段并行处理输入数据；

• Reduce 阶段对 Map 结果进行汇总；

（4）HDFS、YARN、MapReduce 三者关系

4、大数据技术生态体系

• Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。

• Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume 支持在日志系统中定制各类数据发送方，用于收集数据；

• Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统；

• Spark：Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数 据进行计算。

• Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。

• Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。

• Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。

• Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。

• ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、 名字服务、分布式同步、组服务等。

5、Hadoop 配置文件

【默认配置文件】

• core-default.xml：默认的核心Hadoop属性文件

• hdfs-default.xml：默认的HDFS属性配置文件

• mapred-default.xml：默认MapReduce属性配置文件

• yarn-default.xml：默认的YARN属性配置文件

【自定义配置文件】

• core-site.xml：配置文件的配置项会覆盖core-default.xml中的相同配置

• hdfs-site.xml：配置文件的配置项会覆盖hdfs-default.xml中的相同配置

• mapred-site.xml：配置文件的配置项会覆盖mapred-default.xml的相同配置

• yarn-site.xml：配置文件的配置项会覆盖yarn-default.xml的相同配置

HDFS

1、HDFS 概述

【HDFS 产生背景】

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

【HDFS 定义】

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

【优点】

• 高容错性：数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复

• 适合处理大数据：

• 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；

• 文件规模：能够处理百万规模以上的文件数量，数量相当之大。

• 可构建在廉价机器上，通过多副本机制，提高可靠性。

【缺点】

• 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

• 无法高效的对大量小文件进行存储

• 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；

• 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

• 不支持并发写入、文件随机修改

• 一个文件只能有一个写，不允许多个线程同时写；

• 仅支持数据append（追加），不支持文件的随机修改。

2、HDFS 组成架构

　　此处插入架构图

• NameNode：就是Master，它是一个主管、管理者。

• 管理HDFS的名称空间；

• 配置副本策略；

• 管理数据块（Block）映射信息；

• 处理客户端读写请求。

• DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。

• 存储实际的数据块；

• 执行数据块的读/写操作。

• Client：就是客户端。

• 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；

• 与NameNode交互，获取文件的位置信息；

• 与DataNode交互，读取或者写入数据；

• Client提供一些命令来管理HDFS，比如NameNode格式化；

• Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

• Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。

• 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ；

• 在紧急情况下，可辅助恢复NameNode。

3、HDFS 文件块大小

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

【为什么块的大小不能设置太小，也不能设置太大】

• HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

• 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

（总结：HDFS块的大小设置主要取决于磁盘传输速率)

数据单位

• block

• 文件上传前需要分块，这个块就是block，一般为128MB，可以修改。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位；

• packet

• packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。

• chunk

• chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个chunk写入packet的大小为516Byte。由此可见真实数据与校验值数据的比值 约为128 : 1。（即64*1024 / 512）

4、HDFS 的读写流程

（1）写数据流程

　　此处插入流程图

1. 客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。
2. NameNode 返回是否可以上传。
3. 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。
4. NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。
5. 客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用 dn2，然后 dn2 调用 dn3，将这个通信管道建立完成。
6. dn1、dn2、dn3 逐级应答客户端。
7. 客户端开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存）， 以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；dn1 每传一个 packet 会放入一个应答队列等待应答。
8. 当一个 Block 传输完成之后，客户端再次请求 NameNode 上传第二个 Block 的服务器。（重复执行 3-7 步）

【网络拓扑-节点距离计算】

在HDFS写数据的过程中，NameNode 会选择距离待上传数据最近距离的 DataNode 接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和