Hadoop 和 Spark 的关系
-
Hadoop实质上是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。 -
Spark 则是一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
-
hadoop：存储和处理大数据；
spark：只处理大数据。 -
Hadoop除了提供为大家所熟知的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。
所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。 -
Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。
这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。
但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。 -
Spark因为其处理数据的方式不一样，会比MapReduce快很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“
-
Spark 在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，” ，Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。
-
如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是完全可以接受的。
但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。 -
两者的灾难恢复方式迥异，但是都很不错。
因为Hadoop将每次处理后的数据都写入到磁盘上，所以其天生就能很有弹性的对系统错误进行处理。
Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。这些数据对象既可以放在内存，也可以放在磁盘，所以RDD同样也可以提供完善的灾难恢复功能。
