BigData<2>_Hadoop技术概述

Hadoop概述

1. Hadoop概述

1. 创始人Doug Cutting， Hadoop名字源于他孩子给玩具大象起的名字。
2. 具有reliable、 scalable、 distributed computing的特点。
3. 是一个利用机器集群来分布式处理大数据的框架，集群中的每个机器都能提供存储和计算能力，对于单个机器的可靠性要求低。

2. Hadoop核心组件

1. Hadoop Common：支持Hadoop其它组件的通用工具。
2. Hadoop Distributed File System （HDFS）： 提供高吞吐量（throughout）（每秒数据传输总量），实现将文件分布式存储在很多服务器上。
3. Hadoop YARN：集群上进行作业调度和资源管理框架。
4. Hadoop MapReduce：基于YARN的并行计算框架，实现在很多机器上进行分布式计算。

3. Hadoop优势

1. 高稳定性
   a、数据存储：采用分布式，数据块多副本方式存储
   b、数据计算：失败后可以重新调度作业计算
2. 高扩展性
   a、存储、计算资源不够时候，可以横向扩展，即添加服务器
   b、一个集群中国可以包括数以千计的节点
3. 其它
   a、存储在廉价的服务器上，去IoE
   b、成熟生态圈