现有的hadoop生态系统中存在的问题
1)使用mapreduce进行批量离线分析;
2)使用hive进行历史数据的分析;
3)使用hbase进行实时数据的查询;
4)使用storm进行实时的流处理;
5)。。。。。。
导致:维护成本高、学习成本高
Spark的出现弥补了Hadoop生态系统中的缺陷,使用spark搞定”一切“
选用spark的原因
1、One stack to rule them all
![](http://images0.cnblogs.com/i/635295/201406/192359482077505.png)
1) 应用于流式计算的Spark Streaming
2) 应用于即席查询(Ad-hoc)的Spark SQL
3) 应用于机器学习(数据挖掘)的MLlib
4)应用于图处理的GraphX
5)将R扩展成并行计算的SparkR
6)还有权衡精度和速度的查询引擎BlinkDB
2、速度快(运行/开发)
运行速度快的原因:
1)基于内存计算(从表象来看)
2)DAG(从深层次来看):把执行过程做成一张图,再来优化
开发速度快:scala代码更优雅(但是还得学习scala啦。。。。。。)
Spark和MapReduce对比
1)调度:启动map和reduce任务需要时间
2)数据共享:从HDFS上读取数据执行,每次迭代均要重写将结果写回到HDFS上,后续的迭代如果需要前面运行的结果数据时需要再去HDFS上读取,以此类推,如果迭代N次。。。
3)输出结果数据多副本:数据需要额外的复制、序列化、磁盘/IO的开销
Spark和MapReduce的区别:迭代时数据写入内存,而不是HDFS上,进而减少大量的磁盘IO开销。