五月Spark

Resilient Distributed Datasets

RDD弹性

1）自动进行内存和磁盘数据存储的切换

2）基于血统的高容错机制

3）Task、Stage 如果失败会自动进行特定次数的重试【默认次数是4次】

5）Checkpoint 和 Persist（持久化） 可主动或被动触发

RDD可以通过Persist持久化将RDD缓存到内存或者磁盘，当再次用到该RDD时直接读取就行。也可以将RDD进行检查点，检查点会将数据存储在HDFS中，该RDD的所有父RDD依赖都会被移除。

6）数据调度弹性

7）数据分片的高度弹性

 

可以根据业务的特征，动态调整数据分片的个数，提升整体的应用执行效率。