摘要: Spark Streaming揭秘 Day16 数据清理机制 今天主要来讲下Spark的数据清理机制,我们都知道,Spark是运行在jvm上的,虽然jvm本身就有对象的自动回收工作,但是,如果自己不进行管理的,由于运行过程中大量产生对象,内存很快就会耗尽。我们可以认为数据清理就是SparkStrea 阅读全文
posted @ 2016-05-27 23:29 哎哟慰 阅读(855) 评论(0) 推荐(0) 编辑
摘要: Spark Streaming揭秘 Day15 No Receivers方式思考 在前面也有比较多的篇幅介绍了Receiver在SparkStreaming中的应用,但是我们也会发现,传统的Receiver虽然使用比较方便,但是还是存在不少问题的,今天主要围绕kafka direct access讨 阅读全文
posted @ 2016-05-27 14:05 哎哟慰 阅读(653) 评论(0) 推荐(0) 编辑