2020年4月20日
spark streaming 读取kafka两种方式的区别
摘要： 1】Receiver是使用高层次的consumer Api来实现的。 receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息 然而，默认情况下，这种方式会因为底层的失败丢失数据。 如果要启用高可靠机制，让数据零丢失，就必须启用spark st 阅读全文
posted @ 2020-04-20 11:27 hulifang 阅读(528) 评论(0) 推荐(0) 编辑