摘要：
一、receiver模式 1 、receiver模式原理图 2 receiver模式理解： 在SparkStreaming程序运行起来后，Executor中会有receiver tasks接收kafka推送过来的数据。数据会被持久化，默认级别为MEMORY_AND_DISK_SER_2,这个级别也可 阅读全文
摘要：
spark Streaming的checkpoint是一个利器，帮助在driver端非代码逻辑错误导致的driver应用失败重启，比如网络，jvm等，当然也仅限于支持自动重启的集群管理器，比如yarn。由于checkpoint信息包含序列化的Scala / Java / Python对象，尝试使用新 阅读全文
摘要：
本测试使用本地文件系统代替HDFS，如需测试HDFS监控请解开注释换成自己的HDFS集群 sparkstreaming只会监控该文件夹下新增的文件，并不会监控到原文件的删除和修改 SparkStreaming On HDFS 代码 1：监控文件夹下新增加的数据并打印到控制台上 代码 2：该代码源源不 阅读全文