MapReduce Tez Storm Spark四个框架的异同

MapReduce\Tez\Storm\Spark四个框架的异同 

 

  1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和

Reduce两个阶段进行处理，非常适合数据密集型计算。

  2） Spark:MapReduce计算框架不适合迭代计算和交互式计算

，MapReduce是一种磁盘计算框架，而Spark

则是一种内存计算框架，它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。

 3） Storm:MapReduce

也不适合进行流式计算、实时分析，比如广告点击计算等，而Storm

则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。

  4）Tez: 运行在YARN之上支持DAG作业的计算框架，对

MapReduce数据处理的归纳。它把Map/Reduce

过程拆分成若干个子过程，同时可以把多个Map/Reduce任务组合成一个较大的DAG

任务，减少了Map/Reduce

之间的文件存储。同时合理组合其子过程，也可以减少任务的运行时间。

MapReduce\Tez\Storm\Spark

四个框架的异同

 

 

liu0457

 

 

1

）

 

MapReduce:

是一种离线计算框架，

将一个算法抽象成

Map

和

 

Reduce

两个阶段进行处理，非常适合数据密集型计算。

 

 

2

）

 

Spark:MapReduce

计

算

框

架

不

适

合

迭

代

计

算

和

交

互

式

计

算

 

，

MapReduce

是一种磁盘计算框架，而

Spark

 

则是一种内存计算框架，它

将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。

 

 

3

）

 

Storm:MapReduce

 

也不适合进行流式计算、实时分析，比如广告点

击计算等，而

Storm

 

则更擅长这种计算、它在实时性要远远好于

MapReduce

计算框架。

 

 

4

）

Tez: 

运行在

YARN

之上支持

DAG

作业的计算框架，对

 

MapReduce

数据处理的归纳。它把

Map/Reduce

 

过程拆分成若干个子过程，同时可

以把多个

Map/Reduce

任务组合成一个较大的

DAG

 

任务，减少了

Map/Reduce

 

之间的文件存储。同时合理组合其子过程，也可以减少任

务的运行时间。