MAPJOIN中无法使用UDF

今天在写SQL时，遇到了一个异常，提示semantic exception generate map join error unable to find class，udf编写的没毛病，其他SQL也有使用这个UDF，为什么就这一个SQL不行？

经过分析，确定map join是Local Task，在Driver JVM中执行，并未装载UDF jar，尽管这个jar被拉到了Driver本地磁盘。

所以，mapjoin和udf不能同时使用，建议分成两条SQL，或者关闭mapjoin。

关闭mapjoin的方法
set hive.auto.convert.join = false;

Hive版本：1.1.0-CDH5.14.4

posted @   相由心生，命由己造  阅读(31)  评论(0)  编辑  收藏  举报
相关博文：
·  Hive删除分区名称中含有特殊字符
·  IDEA本地运行无法找到scope为provided的包
·  Hive报错FAILED:Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause.
·  Hive自定义UDF、UDAF、UDTF函数实例与区别
·  hive使用UDF函数
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构
点击右上角即可分享
微信分享提示
AI IDE Trae