会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
手写伪代码
博客园
首页
新随笔
联系
订阅
管理
2019年12月8日
spark streaming整合kafka
摘要: spark streaming整合kafka的简单例子
阅读全文
posted @ 2019-12-08 21:41 手写伪代码
阅读(611)
评论(0)
推荐(0)
编辑
spark streaming常用调优
摘要: 1、Spark Streaming第一次运行不丢失数据 kafka参数 auto.offset.reset 参数设置成earliest 从最初始偏移量开始消费数据。 2、Spark Streaming精准一次消费 手动维护偏移量 处理完业务数据后,再进行提交偏移量操作 极端情况下,如在提交偏移量时断
阅读全文
posted @ 2019-12-08 21:30 手写伪代码
阅读(985)
评论(0)
推荐(0)
编辑
公告