KafkaUtils.createDirectStream报错Cannot resolve symbol createDirectStream

一开以为是自己导包导错了,但是对比了一下之前的程序发现并没有错,

1
import org.apache.spark.streaming.kafka.{HasOffsetRanges, KafkaUtils, OffsetRange}

后来又怀疑是不是自己搞错版本了,检查了好几次,在另外一台电脑上也是同样的pom啊

复制代码
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>1.6.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.11</artifactId>
    <version>1.6.0</version>
</dependency>
复制代码

后来又猜是不是哪里有隐式转换啊,因为我把KafkaUtils.createDirectStream放到一个函数中就不报错了,奇怪了

1
KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc,kafkaParams,topics)

搞了好久,最后是一个让我哭笑不得的原因导致的,topic的类型应该是Set,弄成Array了(话说Set确实更合理哈,自动去除重复的topic),说来也是气人,topic类型错了,IDEA就应该把错误标在topics上,标在createDirectStream误导人-_-||

 

posted @   梦醒江南·Infinite  阅读(2148)  评论(0编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决
点击右上角即可分享
微信分享提示