Kafka和Spark Streaming实时计算框架整合说明
- Spark Streaming只能充当Kafka的消费者
- Spark Steaming整合Kafka数据,读取Kafka数据有两种方式
1、Receiver(使用Spark中接受器去处理Kafka的数据)方法----连接zookeeper集群读取数据-----仅作了解(被淘汰)
2、Direct方法--直连kafka集群读取数据 - 如果Spark Srreaming整合Kafka,需要引入编程依赖
- Spark Streaming整合Kafka数据有两个依赖版本
1、0.8版本
2、0.10版本(只有Direct直连方式)
我们如果引入了Spark-streaming-kafka依赖,那么我们就不需要手动引入kafka-clients依赖了,否则依赖引入冲突,可能会产生一下奇怪的问题
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16668547.html