会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Questions张
博客园
首页
新随笔
联系
订阅
管理
2019年3月11日
Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别
摘要: Receiver是使用Kafka的高层次Consumer API来实现的。 Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的,然后Spark Streaming启动的job会去处理那些数据。 然而,在默认的配置下,这种方式可能会因为底层的失败而丢失数据。 如果
阅读全文
posted @ 2019-03-11 11:06 Questions张
阅读(1256)
评论(0)
推荐(0)
编辑
公告