hive使用trino查询时报分区不存在问题
1.使用sql界面查询时报错”分区不存在“
2.后台查看文件不存在
$ hdfs dfs -s /warehouse/cleaned.db/dataitem1 202304/f=20230412 2se/warehouse/cleaned.db/dataitem1 202304/f=20230412 2': No such file or directory
3.查看hive表的分区显示有
经过上面三步查看确实很有问题
问题分析:
hive分区表元数据和hdfs文件目录不一致,导致的读异常。
问题处理:
修复表分区
dbname=cleaned tbname=dataitem1_${mouth} ssh root@txj2data01 "hive -e 'use ${dbname}; msck repair table ${tbname} SYNC PARTITIONS'"
详细查看hive命令
MSCK [REPAIR] TABLE table_name [ADD/DROP/SYNC PARTITIONS];
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步