Kafka和Spark Streaming实时计算框架整合说明

  • Spark Streaming只能充当Kafka的消费者
  • Spark Steaming整合Kafka数据,读取Kafka数据有两种方式
    1、Receiver(使用Spark中接受器去处理Kafka的数据)方法----连接zookeeper集群读取数据-----仅作了解(被淘汰)
    2、Direct方法--直连kafka集群读取数据
  • 如果Spark Srreaming整合Kafka,需要引入编程依赖
  • Spark Streaming整合Kafka数据有两个依赖版本
    1、0.8版本
    2、0.10版本(只有Direct直连方式)
    我们如果引入了Spark-streaming-kafka依赖,那么我们就不需要手动引入kafka-clients依赖了,否则依赖引入冲突,可能会产生一下奇怪的问题
posted @   jsqup  阅读(36)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示