Hadoop：简介
一、简介
- 定义：开源的，做分布式存储与分布式计算的平台；
- 功能：搭建大型数据仓库，对PB级数据进行存储、处理、分析、统计等业务；（如日志分析、数据挖掘）
- Hadoop工作模块
- Common：提供框架和工具，对其它Hadoop模块的支持；
- Distributed File System（HDFS：分布式文件系统）：负责数据的存储；
- YARN：作业的调度及资源管理；
- MapReduce：基于YARN的并行处理框架；
二、Hadoop 功能模块
1）HDFS（分布式文件系统）
-
特点
- 可扩展，可容错、可海量的存储数据；
- 将文件切分成指定大小的数据块（一般默认128M），并以多副本的存储在多个机器上；（达到容错目的）
- 数据切分、多副本、容错等操作对用户是透明的；
-
实例简介
- 有 8 个节点（一般指单个服务器，一个独立的磁盘）；
- part-0（Filename）：文件名；
- r:2（numReplicas）：表示 part-0 文件有 2 个副本；
- {1, 3}（block-ids）：表示 part-0 文件被切分为 1 和 3 两部分；
- 对多个 block 进行编号，保证读取文件的数据时，不同数据被读取的顺序不变；
2）YARN（Yet Another Resource Negotiator）
- 功能：负责整个集群资源的管理和调度；
- 特点：可扩展（如：计算能力不足时可添加机器）、可容错、多框架资源统一调度（可以跑不同的框架，进而可以进行针对不同的业务）；
-
实例简介
- 可多个不同类型的框架同时进行；
3）MapReduce
- 功能：分布式计算框架；
- 特点：可扩展、可容错、做海量数据离线处理（不能实时处理）；
-
实例简介
- 计算过程：（例：world count process，统计文章中所有单词的出现次数）
- Input：输入操作文件；
- Splitting：将操作文件分割为 3 部分；（一般会分别放在 3 台机器上进行操作计算，可提高效率）
- Mapping：以 空格 为分隔符，将每部分文章拆分成单个词汇；
三、Hadoop 优势及其生态系统
1）Hadoop 的优势
-
高可靠性
- 存储方面：数据块多副本；（防止数据块丢失）
- 计算方面：如果出现错误，会重新调度作业进行计算；
-
扩展性
存储/计算资源不够时，可以添加横向的线性扩展机器；
一个集群中可以包含数以千计的节点；
-
其它
- 可以存储在廉价的机器上，降低成本；
- 具有成熟的生态圈；
2）Hadoop 生态系统
- 狭义的 Hadoop：一个适合大数据分布式存储（HDFS）、分布式计算（MapReduce）和资源调度（YARN）的平台；
- 广义的 Hadoop：指Hadoop生态系统，Hadoop 生态系统是一个很庞大的概念，hadoop 是其中最重要最基础的一部分；生态系统中的每一个子系统只解决某一个特定的问题域（甚至可能很窄），不搞统一型的一个全能系统，而是小而精的多个小系统；
- Hive：通过 SQL 语句进行统计分析；（Hive 的执行引擎将 SQL 语句转换为Map Reduce，提交到集群上进行计算）
- R Connectors：R 语言，一般做统计分析；
- Pig：通过脚本方式进行统计分析；（将脚本转换为 Map Reduce，一般做离线处理）
- Ooize：配置具有依赖关系的数据，一步步有序的执行；（执行顺序排列好后，不能乱序执行）
- Zookeeper：管理多种框架，做分布式的协调服务；（如果某个执行框架出现问题，可做单点的切换，执行其他框架）
- Flume：日志收集框架；（分布式的，使用配置文件，收集多个服务器上的运行日志）
- Sqoop：数据传输交换工具，用于传统的关系型数据库与 Hadoop 之间进行数据传输，双向的；（可将传统数据库中的数据直接抽取到 HDFS、Hive 或者 Hbase 中）
- Hbase：实时查询数据；是针对结构化数据的一个可伸缩、可扩展、高性能、面向列的一个数据库，或者说是Hadoop 中的一个数据库；
-
一般使用不同框架解决特定域的问题；
-
生态系统特点：所有框架都是开源的，可根据源码做定制化开发，并且社区活跃；
