hive只扫描一遍表实现查询不同条件的数据

工作中有一张类型信息表,有时候需要不同的类型信息需要多次扫描这张表,表很大的时候影响效率。

优化前:

select t1.fa_id,t2.srch_char_val,t3.srch_char_val from 
(select fa_id from cisadm_ods.ods_cis_ci_fa_df  ) t1
left join 
(select * from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd)="aaaa") t2 
on t1.fa_id=t2.fa_id
left join 
(select * from cisadm_ods.ods_cis_ci_fa_char_df where trim(char_type_cd)="bbbb") t3
on t1.fa_id=t3.fa_id

优化后:

使用collect_set(if())这种方式对值进行条件聚合,然后把值从set中取出

select  fa_id
,collect_set(if(trim(char_type_cd) = "WXSFCG",srch_char_val,null))[0]
,collect_set(if(trim(char_type_cd) = "ZYLX",srch_char_val,null))[0]
from cisadm_ods.ods_cis_ci_fa_char_df
where trim(char_type_cd) in ("WXSFCG","ZYLX") 
group by fa_id

 

posted @   Mars.wang  阅读(581)  评论(0编辑  收藏  举报
编辑推荐:
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· Vue3状态管理终极指南:Pinia保姆级教程
点击右上角即可分享
微信分享提示