摘要:
Spark Streaming揭秘 Day9 从Receiver的设计到Spark框架的扩展 Receiver是SparkStreaming的输入数据来源,从对Receiver整个生命周期的设计,我们可以充分领略到Spark框架设计之巧妙,废话少说,让我们来看代码。 解决的问题 在开始之前,让我们先 阅读全文
摘要:
Spark Streaming揭秘 Day8 RDD生命周期研究 今天让我们进一步深入SparkStreaming中RDD的运行机制。从完整的生命周期角度来说,有三个问题是需要解决的: RDD到底是怎么生成的 具体执行的时候和Spark Core上的执行有所不同 运行之后对RDD如何处理,怎么对已 阅读全文