Kafka和Spark Streaming实时计算框架整合说明

  • Spark Streaming只能充当Kafka的消费者
  • Spark Steaming整合Kafka数据,读取Kafka数据有两种方式
    1、Receiver(使用Spark中接受器去处理Kafka的数据)方法----连接zookeeper集群读取数据-----仅作了解(被淘汰)
    2、Direct方法--直连kafka集群读取数据
  • 如果Spark Srreaming整合Kafka,需要引入编程依赖
  • Spark Streaming整合Kafka数据有两个依赖版本
    1、0.8版本
    2、0.10版本(只有Direct直连方式)
    我们如果引入了Spark-streaming-kafka依赖,那么我们就不需要手动引入kafka-clients依赖了,否则依赖引入冲突,可能会产生一下奇怪的问题
posted @ 2022-09-08 10:20  jsqup  阅读(35)  评论(0编辑  收藏  举报