大数据+并行计算+分布式计算知识点整理

1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？

Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用

Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用

MPI：基于消息传递的并行计算框架，适用于各种复杂应用的并行计算，支持MPMD（多程序多数据），开发复杂度高。