摘要：
Spark Streaming揭秘 Day32 WAL框架及实现 今天会聚焦于SparkStreaming中非常重要的数据安全机制WAL(预写日志)。 设计要点 从本质点说，WAL框架是一个存储系统，可以简单的认为是一个文件系统，其作用类似于BlockManager， 我们首先看一下官方的说明： 这 阅读全文
摘要：
Kakfa揭秘 Day9 KafkaReceiver源码解析 上一节课中，谈了Direct的方式来访问kafka的Broker，今天主要来谈一下，另一种方式，也就是KafkaReceiver。 初始化 Direct和普通Receiver方式，最大的区别，是元数据的管理方式。 Direct方式是没有通 阅读全文