【Spark】SparkStreaming的容错机制

文章目录

• 检查点机制
• 驱动器程序容错
• 工作节点容错
• 接收器容错
• 处理保证

---

检查点机制

Metadata checkpointing —— 将定义流计算的信息存入容错的系统如HDFS。
Data checkpointing —— 将产生的RDDs存入可靠的存储空间。代码实现如下图

val sparkContext = new SparkContext(new SparkConf())
val ssc = new StreamingText(sparkContext,duration)

ssc.checkpoint(checkpointDir)	//设置检查点目录

 

驱动器程序容错

就是创建StreamingContext是不要直接new，而是用下面这种方法

val sparkContext = new SparkContext(new SparkConf())
val ssc = StreamingContext.getOrCreate(checkpointDir, createStreamingContext _)

 

工作节点容错

将从外部数据员接收到的数据在多个工作节点备份，根据RDD的Lineage回复丢失的数据
 

接收器容错

就是选择靠谱的数据源。一般都是根据具体的事务情况来选择对应的数据源。比如HDFS、拉式Flume。
 

处理保证

就是尽量选择exactly once模式。
我们可以使用事务操作来写入外部系统(即原子化地将一个 RDD 分区一次写入)，或者设计幂等的更新操作(即多次运行同一个更新操作 仍生成相同的结果)。比如 Spark Streaming 的 saveAs…File 操作会在一个文件写完时自动 将其原子化地移动到最终位置上，以此确保每个输出文件只存在一份。