hadoop入门（1）——hadoop概述

一、hadoop生态系统特点

     开源、社区活跃、涉及分布式存储和计算的整个生态系统、已得到企业界验证。

     hadoop1.0与2.0版本的比较：

        1.0包含HDFS+MapReduce。

        2.0包括HDFS+YARN+MapReduce+Others

        主要区别在于引入了YARN层。集群资源管理层。

二、hadoop介绍（以2.0版本为主）

1、分布式存储系统HDFS

            分布式存储系统

            提供了高可靠性、高扩展性和高吞吐率的数据存储服务。

            具备线性扩展的能力。

            源自于Google的GFS论文，HDFS是GFS的克隆版。

            HDFS具有良好的扩展性、高容错性(通过数据冗余来实现)、适合PB级以上海量数据的存储。

            基本原理：

                    将文件切分为等大的数据库，存储到多台机器上（分布式文件存储系统）

                    将数据切分、容错、负载均衡等功能透明化。

                    可将HDFS看成一个容量巨大、具有高容错性的磁盘。

                    namenode、datanode、zookeeper。

            应用场景：

                    海量数据的可靠性存储。

                    数据归档。

            HDFS架构图（待补充）:master-slave架构

2、资源管理系统YARN（Yet Another Resource Negotiator）

            负责集群资源的统一管理和调度。是hadoop2.0新增的系统。

            使得多个计算框架可以运行在一个集群中。

            具有良好的扩展性、高可用性。

            自带了多种多用户调度器，适合共享集群环境。

            YARN调度图（待补充）

            YARN 架构图（待补充）：master-slave结构。

3、分布式计算框架MapReduce

            分布式计算框架。易于编程、高容错性、高扩展性。

            源自于Google的MapReduce论文。

            具有良好的扩展性、高容错性(某个节点失败调度到其他节点)、适合PB级以上的海量数据的离线处理。

            架构图（待补充）

三、hadoop生态系统

        1.0生态系统图。

        2.0生态系统图。

        HDFS、MapReduce、Hive（数据仓库）、pig（工作流引擎）、mahout（数据挖掘库）、

        Oozie（作业流调度系统）、Hbase（分布式数据库）、sqoop（数据TEL工具）、

        Flume（日志收集）、Zookeeper（分布式协调服务）、Ambari(安装部署工具)

        YARN、Tez（DAG计算）、Spark（内存计算）、Hive2、Pig2、shark

        hive：基于MR的数据仓库，是Facebook开源的。Hive定义了HQL查询语言。通常用于离线数据处理。是MR的语言翻译器。

                应用于日志分析，统计网站的PV\UV。

                海量结构化数据离线分析。

                低成本进行数据分析（因为不需要写MR程序）

                Hive架构图。

        pig：Yahoo开源，目的是提供一种基于MR的数据分析工具。定义了Pig Latin数据流语言。

        Mahout：数据挖掘库，基于hadoop的机器学习和数据挖掘的工具。实现了很多聚类、分类算法。

        HBase：源自于Google的Bigtable论文。高可用、高性能、面向列、高扩展性。

        Zookeeper：源自于Google的Chubby论文。解决分布式环境下数据管理问题：

                统一命名、状态同步、集群管理、配置同步。

        Sqoop：数据同步工具。支持多种数据库（MySQL、DB2等），连接hadoop和传统数据库的桥梁。

        Flume：cloudera开源的日志收集工具。将日志导入到hadoop中。

        Oozie：作业流调度系统。

                不同作业之间存在依赖关系（DAG），周期性作业、定时执行的作业、作业执行状态监控与报警。

四、hadoop生态系统版本衍化

    Apache hadoop、CDH（推荐）、HDP。