hive只扫描一遍表实现查询不同条件的数据
工作中有一张类型信息表,有时候需要不同的类型信息需要多次扫描这张表,表很大的时候影响效率。
优化前:
select t1.fa_id,t2.srch_char_val,t3.srch_char_val from (select fa_id from cisadm_ods.ods_cis_ci_fa_df ) t1 left join (select * from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd)="aaaa") t2 on t1.fa_id=t2.fa_id left join (select * from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd)="bbbb") t3 on t1.fa_id=t3.fa_id
优化后:
使用collect_set(if())这种方式对值进行条件聚合,然后把值从set中取出
select fa_id ,collect_set(if(trim(char_type_cd) = "WXSFCG",srch_char_val,null))[0] ,collect_set(if(trim(char_type_cd) = "ZYLX",srch_char_val,null))[0] from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd) in ("WXSFCG","ZYLX") group by fa_id
标签:
hive
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· Vue3状态管理终极指南:Pinia保姆级教程