摘要: Spark Streaming揭秘 Day9 从Receiver的设计到Spark框架的扩展 Receiver是SparkStreaming的输入数据来源,从对Receiver整个生命周期的设计,我们可以充分领略到Spark框架设计之巧妙,废话少说,让我们来看代码。 解决的问题 在开始之前,让我们先 阅读全文
posted @ 2016-05-15 20:13 哎哟慰 阅读(888) 评论(1) 推荐(0) 编辑
摘要: Spark Streaming揭秘 Day8 RDD生命周期研究 今天让我们进一步深入SparkStreaming中RDD的运行机制。从完整的生命周期角度来说,有三个问题是需要解决的: RDD到底是怎么生成的 具体执行的时候和Spark Core上的执行有所不同 运行之后对RDD如何处理,怎么对已 阅读全文
posted @ 2016-05-15 13:55 哎哟慰 阅读(820) 评论(0) 推荐(0) 编辑