2019年6月26日
Spark Streaming HA
摘要： Driver HA: 1、在提交application的时候，添加 --supervise 选项，如果Driver挂掉，会自动启动一个Driver 2、代码层面恢复Driver 3、在恢复checkpoint中数据的时候，把旧的逻辑也一起给恢复了 主要的作用就是当SparkStreaming 停机之 阅读全文
posted @ 2019-06-26 15:36 青紫天涯 阅读(294) 评论(0) 推荐(0) 编辑
spark streaming 统计wordcount
摘要： spark streaming 学习： spark streaming 与strom 的区别： Spark Streaming 与strom 的区别： 1、Strom是纯实时的流式处理框架，SparkStreaming 是准实时处理框架（微批处理），因为微批处理，SparkStreaming 的吞吐 阅读全文
posted @ 2019-06-26 14:27 青紫天涯 阅读(1464) 评论(0) 推荐(0) 编辑