Kafka和Spark Streaming实时计算框架整合说明
- Spark Streaming只能充当Kafka的消费者
- Spark Steaming整合Kafka数据,读取Kafka数据有两种方式
1、Receiver(使用Spark中接受器去处理Kafka的数据)方法----连接zookeeper集群读取数据-----仅作了解(被淘汰)
2、Direct方法--直连kafka集群读取数据 - 如果Spark Srreaming整合Kafka,需要引入编程依赖
- Spark Streaming整合Kafka数据有两个依赖版本
1、0.8版本
2、0.10版本(只有Direct直连方式)
我们如果引入了Spark-streaming-kafka依赖,那么我们就不需要手动引入kafka-clients依赖了,否则依赖引入冲突,可能会产生一下奇怪的问题
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16668547.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通