Spark Streaming揭秘 Day33 checkpoint的使用
Spark Streaming揭秘 Day33
checkpoint的使用
今天谈下sparkstreaming中，另外一个至关重要的内容Checkpoint。
首先，我们会看下checkpoint的使用。另外，会看下在应用程序重新启动时，是如何处理checkpoint的。
Checkpoint保存什么
checkpoint作为容错的设计，基本思路是把当前运行的状态，保存在容错的存储系统中(一般是hdfs)。对于容错的处理，肯定是围绕作业紧密相关的，保存内容包括元数据和数据两部分。
从元数据角度讲，SparkStreaming中会有哪些内容需要保存呢，主要有三类：
- 程序的配置
- 应用程序的业务逻辑，保存在DStreamGraph里。
- 还有哪些没有处理的数据，即没有完成的batch。
从数据角度讲下，Checkpoint是对于状态(state)操作生效。
首先，一般情况下在接收数据并保存时，是使用WAL来容错，这个昨天讨论过，并不放在checkpoint里。
对状态(state)的DStream操作(updateStateByKey)，操作会跨多个batch duration，后面数据对前面的有依赖，随着时间的推移，依赖链条会越来越长，这个时候需要使用checkpoint，把这个长链条持久化，成为短链条。
在官方例子RecoverableNetworkCount中，我们看到可以用如下方法创建一个可恢复的streamingContext。
那关键就是getOrCreate方法
里面提供了两种创建方式，第一次是创建新的streaming context，否则会从checkpoint数据中创建出上下文。第三个输入参数是Hadoop的配置，一般来说checkpoint存放在hdfs中。ignoreReadError，可以控制是否抛出异常。
让我们进入checkpoint的read方法。这里面是循环checkpoint目录中的文件，读取并反序列化，之后返回。
我们看下反序列化方法，生成一个Checkpoint类型。
Checkpoint里面包含了所有我们进行保存的内容。
使用checkpoint恢复
下面我们来看下使用checkpoint构建环境的过程。
首先，调用sparkContext.getOrCreate 来构建sparkContext。
之后是恢复DStreamGraph。
DStreamGraph的恢复过程中，关键是恢复所有的outputStream。
在恢复的过程中，默认是根据checkpoint文件重建RDD。
checkpoint的数据是保存在ReliableCheckpointRDD中，我们看下compute方法。可以看到，就是从checkpoint文件读取数据。
最后，还有恢复checkpointDuration。
Checkpoint的生成
生成是在JobGenerator中触发。
在每次生成Job后，都会触发checkpoint的写入事件。
doCheckpoint会写入一个Checkpoint对象，其核心就是采用序列化技术把对象写入磁盘。
今天对checkpoint的介绍就到这里，对于整个机制来看，还是有些漏洞，如果目录数据存在，但是代码变化了，有可能出现不能读取checkpoint里的内容，希望后续版本能改进。
欲知后事如何，且听下回分解!
DT大数据每天晚上20：00YY频道现场授课频道68917580
