开始hadoop

  1. hadoop介绍

    分布式存储系统HDFS(Hadoop Distributed File System),提供了高可靠性、高扩展性和高吞吐率的数据存储服务;

    资源管理系统YARN(Yet Another Resource Negotiator),负责集群资源的统一管理和调度,使得多种计算框架可以运行在一个集群中;

    分布式计算框架(MapReduce),具有易于编程、高容错性和高扩展性等特点的PB级以上海量数据的离线处理能力。

    Hive(基于MR的数据仓库),定义了一种类SQL查询语言——HQL,类似SQL,但不完全相同,通常用于进行离线数据处理(采用MapReduce),可认为是HQL到MR的语言翻译器,是为了低成本进行数据分析(不直接编写MR)。

    Pig,构建在Hadoop上的数据仓库,定义了一种数据流语言Pig-Latin,基于MR的ad-hoc数据分析工具,也用于离线分析,与Hive类似。

    Mahout(数据挖掘库),基于Hadoop的机器学习和数据挖掘分布式计算框架,实现了三大算法:推荐(Recommendation)、聚类(Clustering)、分类(Classification)、降维(Dimension Reduction),可以直接利用里面的算法进行分析。

    HBase(分布式数据库),高可靠性、高性能、面向列、良好的扩展性。Table:表,类似于传统数据库中的表;Column Family:列簇,Table在水平方向上有一个或多个Column Family组成,一个Column Family中可以由任意多个Column组成;Row Key:行健,Table的主键,Table中的记录按照Row Key排序;Timestamp:时间戳,每行数据均对应一个时间戳和版本号。

    Zookeeper(分布式写作任务),解决分布式环境下的数据管理问题,统一命名、状态同步、集群管理、配置同步。

    Sqoop(数据同步工具),连接Hadoop与传统数据库之间的桥梁,支持多种数据库包括MySQL、DB2等,用户可根据需要支持新的数据库(插拔式),其本质上是一个MapReduce程序。

    Flume(日志收集工具)。

    Oozie(作业流调度系统),如母亲计算框架和作业类似繁多(MR Java、Streaming、HQL、Pig等),如何对这些框架和作业统一管理和调度:不同作业之间存在依赖关系(DAG)、周期性作业、定时执行的作业、作业执行状态监控与报警(发邮件、短信)。

  2. 计算框架

    在yarn上可以运行多种计算框架。

    离线计算框架MapReduce

    将计算过程分为两个阶段,Map和Reduce:Map 阶段并行处理输入数据;Reduce阶段对Map结果进行汇总;Shuffle连接Map和Reduce两个阶段;Map Task将数据写到本地磁盘;Reduce Task从每个Map Task上读取一份数据。特点是:仅适合离线批处理;具有很好的容错性和扩展性;适合简单的批处理任务;缺点也很明显:启动开销大、过多使用磁盘导致效率低下等,要求数据源是静态的,不能动态变化。

    DAG计算框架Tez

    多个应用程序之间存在数据依赖关系,后一个应用程序的输入为前一个的输出。并形成一个依赖关系有向图(Directed Acyclic Graph),该图的计算称为"DAG计算",Apache Tez:基于YARN的DAG计算框架,运行在YARN之上,充分利用YARN的资源管理和容错等功能;提供了丰富的数据流(dataflow)API;扩展性良好的" Input-Processor-Output"运行时模型;动态生成物理数据流关系。

    流式计算框架Storm(实时计算)

    流式(Streaming)计算,是指被处理的数据像流水一样不断流入系统,而系统需要针对每条数据进行实时处理和计算,并永不停止(直到用户显式杀死进程);而传统做法:由消息队列和消息处理者组成的实时处理网络进行实时计算,因此传统做法缺乏自动化/健壮性/伸缩性差。

    内存计算框架Spark

    克服MapReduce在迭代式计算和交互式计算方面的不足;引入RDD(Resilient Distributed Datasets)数据表示模型;RDD是一个有容错机制,可以被并行操作的数据集合,能够被缓存到内存或磁盘上。

    MapReduce 2.0与YARN

    一个MR应用程序的成功运行需要若干模块:

    任务管理和资源调度

    任务驱动模块(MapTask、ReduceTask);

    用户代码(Mapper、Reducer…)

    MapReduce 2.0和YARN区别

    YARN是一个资源管理系统,负责资源管理和调度

    MapReduce只是运行在YARN上的一个应用程序

    如果把YARN看做" android",则MapReduce只是一个" app"

  3. hadoop版本

    Hadoop发行版介绍(开源版)有下面三种:

    Apache Hadoop

    推荐使用最新的2.x.x版本,比如2.4.0

    下载地址:http://hadoop.apache.org/releases.html

    SVN: http://svn.apache.org/repos/asf/hadoop/common/branches/

    CDH(Cloudera Distributed Hadoop)

    推荐使用最新的CDH5版本, 比如

    CDH4基于Apache Hadoop0.23.0版本开发

    CDH5基于Apache Hadoop2.2.0版本开发

    下载地址:http://archive.cloudera.com/cdh5/cdh/5/

    HDP (Hortonworks Data Platform)

    推荐使用最新的HDP 2.x版本, 比如HDP 2.1版本

    下载地址: http://zh.hortonworks.com/hdp/downloads

  4. hadoop下载

    http://archive.apache.org/dist/ 可以看到所有apache下的项目

    http://hadoop.apache.org

    http://archive.apache.org/dist/hadoop/core/stable/ 稳定版hadoop下载

    stable11.0的稳定版,stable22.0的稳定版

    hadoop-2.2.0.tar.gz

    hadoop-2.2.0-src.tar.gz

  5. hadoop目录

    bin:Hadoop最基本的管理脚本和使用脚本所在目录,这些脚本是sbin目录下管理脚本的基础实现,用户可以直接使用这些脚本管理和使用Hadoop。

    etc:Hadoop配置文件所在的目录,包括hadoop-env.sh、core-site.xml、 hdfs-site.xml、mapred-site.xml等从Hadoop 1.0继承而来的配置文件和yarn-site.xml等Hadoop 2.0新增的配置文件。

    include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++程序访问HDFS或者编写MapReduce程序。

    lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。

    libexec:各个服务对应的shell配置文件所在目录,可用于配置日志输出目录、启动参数(比如JVM参数)等基本信息。

    sbin:Hadoop管理脚本所在目录,主要包含HDFS和YARN中各类服务的启动/关闭脚本。

    share:Hadoop各个模块编译后的jar包所在目录

posted @ 2015-10-11 16:08  whaozl  阅读(286)  评论(0编辑  收藏  举报