spark streaming 消费kafka存储offsets到外部介质

checkpoint :执行checkpoint操作使得offset保存在checkpoint中,系统挂掉重启没问题,但是系统升级,checkpoint数据就无法使用

将offset保存到hbase

将offset保存到zookeeper

将offset保存到kafka本身

详细网址

https://www.jianshu.com/p/ef3f15cf400d

posted @ 2020-04-17 11:31  hulifang  阅读(242)  评论(0编辑  收藏  举报