2017年12月18日
Spark Streaming 的容错
摘要： Spark Streaming 为了实现容错特性，接收到的数据需要在集群的多个Worker 节点上的 executors 之间保存副本（默认2份）。当故障发生时，有两种数据需要恢复： 1. 已接收并且有副本的数据。当只有一台worker 发生故障时，这些数据不会丢失 2. 已接收但还没有副本的数据。 阅读全文
posted @ 2017-12-18 17:39 一剑侵心 阅读(512) 评论(0) 推荐(0) 编辑