spark及其生态系统

1、spark是通用大数据处理框架。

 

2、spark快的原因，内存计算，支持有向无环图DAG，减少迭代过程中的数据落地。

 

3、SparkSQL：

引入新的RDD类型SchemaRDD，可以像传统数据库定义表一样定义SchemaRDD。

内存列存储：SparkSQL的表数据在内存中存储不是采用原生态的JVM对象存储，而是采用内存列存储。

 

4、BlinkDB：交互式SQL查询系统，允许用户通过权衡数据精度来提升查询响应时间。

 

5、MLBase\MLlib：Spark系统中专注于机器学习的组件，目标是机器学习门槛更低。

MLBase的核心是其优化器(ML Optimizer)，它可以把声明式的任务转化成复杂的学习计划，最终产出最优的模型和计算结构。

与weka和Mahout不同

a.MLBase基于spark,分布式内存计算，weka单机，Mahout使用MapReduce。

b.MLBase是自动化处理，weka和mahout需要使用者具备机器学习技能，来选择自己想要的算法和参数做处理。

c.MLBase提供了不同抽象程序的接口，可以由用户通过该接口实现算法的扩展。

 

6、GraphX

Spark中用于图和图并行计算的API，可以认为是GraphLab和Pregel在Spark上的重写及优化。