1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。
1.HDFS:
HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。
除具备其它分布式文件系统相同特性外，还有自己的特性：
高容错性：认为硬件总是不可靠的
高吞吐量：为大量数据访问的应用提供高吞吐量
支持大文件存储：支持存储TB-PB级别的数据
2.MapReduce
MapReduce是面向大数据并行处理的计算模型、框架和平台。
它包含以下三层含义：
1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。
2）MapReduce是一个并行计算与运行软件框架（Software Framework）。
3）MapReduce是一个并行程序设计模型与方法（Programming Model & Methodology
3.HBase
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别。
利用Hadoop HDFS（Hadoop Distributed File System）作为其文件存储系统，提供实时读写的分布式数据库系统。
利用ZooKeeper作为协同服务。
4.Hive
Hive是基于Hadoop的数据仓库软件，可以查询和管理PB级别的分布式数据。
Hive特性：
灵活方便的ETL(extract/transform/load)。
支持MapReduce，Tez，Spark等多种计算引擎。
可直接访问HDFS文件以及HBase。
易用易编程。
5.spark
批处理可用于ETL（抽取、转换、加载）。
机器学习可用于自动判断淘宝的买家评论是好评还是差评。
交互式分析可用于查询Hive数据仓库。
流处理可用于页面点击流分析，推荐系统，舆情分析等实时业务
6.streaming
实时分析：如实时日志处理(故障分析)、交通流量分析(实时车况)等。
实时统计：如网站的实时访问统计、排序(关键词统计排序)等。
实时推荐：如实时广告定位(广告邮件)、事件营销(猜你喜欢)。
7.Flink
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。
Flink与Storm类似，属于事件驱动型实时流系统。
8.Flume
提供从固定目录下采集日志信息到目的地（HDFS, HBase, Kafka)能力。
提供实时采集日志信息(taildir)到目的地的能力。
Flume支持级联（多个Flume对接起来），合并数据的能力。
Flume支持按照用户定制采集数据的能力。
2.对比Hadoop与Spark的优缺点。
spark优点：
轻：Spark核心代码有3万行。
Scala语言的简洁和丰富表达力。
巧妙利用了Hadoop和Mesos的基础设施。
快：Spark对小数据集可达到亚秒级的延迟。
对大数据集的迭代机器学习即席查询、图计算等应用，Spark 版本比基于MapReduce、Hive和Pregel的实现快。
内存计算、数据本地性和传输优化、调度优化。
灵：Spark提供了不同层面的灵活性。
Scala语言trait动态混入策略(如可更换的集群调度器、序列化库)。
允许扩展新的数据算子、新的数据源、新的language bindings 。
Spark支持内存计算、多迭代批量处理、即席查询、流处理和图计算等多种范式。
巧：巧妙借力现有大数据组件。
Spark借Hadoop之势，与Hadoop无缝结合。
图计算借用Pregel和PowerGraph的API以及PowerGraph的点分割思想
Hadoop的缺点：
表达能力有限
磁盘IO开销大
延迟高
任务之间的衔接涉及IO开销
在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务
3.如何实现Hadoop与Spark的统一部署？
由于Hadoop MapReduce、HBase、Storm和Spark等，都可以运行在资源管理框架YARN之上，因此，可以在YARN之上进行统一部署。这些不同的计算框架统一运行在YARN中，可以带来如下好处：1.计算资源按需伸缩；2.不用负载应用混搭，集群利用率高；3.共享底层存储，避免数据跨集群迁移
