2016年5月28日

第12课：Spark Streaming源码解读之Executor容错安全性
摘要： 一、Spark Streaming 数据安全性的考虑： Executor容错方式： 1. 最简单的容错是副本方式，基于底层BlockManager副本容错，也是默认的容错方式。 2.WAL日志方式 3. 接收到数据之后不做副本，支持数据重放，所谓重放就是支持反复读取数据。 BlockManager备 阅读全文
posted @ 2016-05-28 22:49 听风居士 阅读(486) 评论(0) 推荐(0) 编辑
11.Spark Streaming源码解读之Driver中的ReceiverTracker架构设计以及具体实现彻底研究
摘要： 上篇文章详细解析了Receiver不断接收数据的过程，在Receiver接收数据的过程中会将数据的元信息发送给ReceiverTracker： 本文将详细解析ReceiverTracker的的架构设计和具体实现 本文将详细解析ReceiverTracker的的架构设计和具体实现 一、Receiver 阅读全文
posted @ 2016-05-28 12:32 听风居士 阅读(721) 评论(0) 推荐(1) 编辑

导航