2019年6月27日
SparkStreaming 使用
摘要： Spark Streaming 架构: 1,Spark Streaming为每个输入源启动对应的接收器。接收器以任务的形式运行在应用的执行器进程中，从输入源收集数据并保存为 RDD。 2,收集到输入数据后会把数据复制到另一个执行器进程来保障容错性(默 认行为)。数据保存在执行器进程的内存中，和缓存 RDD 的方式一样。 3,驱动器程序中的 StreamingContext 会周期... 阅读全文
posted @ 2019-06-27 23:50 十七楼的羊 阅读(307) 评论(0) 推荐(0) 编辑