2019年8月27日
Spark2.x（六十一）：在Spark2.4 Structured Streaming中Dataset是如何执行加载数据源的？
摘要： 本章主要讨论，在Spark2.4 Structured Streaming读取kafka数据源时，kafka的topic数据是如何被执行的过程进行分析。 以下边例子展开分析： 上边例子业务，使用structured streaming读取kafka的topic，并做agg，然后sink到kafka的 阅读全文
posted @ 2019-08-27 23:02 cctext 阅读(1087) 评论(0) 推荐(0) 编辑
Spark2.x（六十）：在Structured Streaming流处理中是如何查找kafka的DataSourceProvider?
摘要： 本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码： sparkSession.readStream()返回的对象是DataSourceReader DataSo 阅读全文
posted @ 2019-08-27 22:31 cctext 阅读(1632) 评论(0) 推荐(0) 编辑