解决Spark filter过滤条件中使用>=或<=时不识别的问题
一.场景
1 val jldxx_zxzq = jldxx_with_dddf 2 .withColumn("ZXZQ", zxzq(col("CBZQ"))) 3 .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据 4 // 如果存在，过滤掉抄表日期不在当前执行周期内的数据 5 .filter(row => row.getAs("CBRQ") >= row.getAs("ZXZQ").split("_")(0) && 6 row.getAs("CBRQ") <= row.getAs("ZXZQ").split("_")(1))
二.异常信息
三.原因
是因为使用getAs函数获取某列的数据时没有指明具体的类型，导致无法判断是否支持"<="或 ">="这类的运算符，因而会报错！
三.解决方案
使用getAs时指明具体的类型！
代码如下：
1 val jldxx_zxzq = jldxx_with_dddf 2 .withColumn("ZXZQ", zxzq(col("CBZQ"))) 3 .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据 4 // 如果存在，过滤掉抄表日期不在当前执行周期内的数据 5 .filter(row => row.getAs[String]("CBRQ") >= row.getAs[String]("ZXZQ").split("_")(0) && 6 row.getAs[String]("CBRQ") <= row.getAs[String]("ZXZQ").split("_")(1))
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源！
· 周边上新：园子的第一款马克杯温暖上架