本次排错参考:
https://leongfeng.github.io/2016/09/23/hive-commands/
https://blog.csdn.net/yisun123456/article/details/84756064
最近通过使用指定location的方式建表在数据迁移的工作上省去了不少时间,但是在实际查看时经常发现一个问题:
分区表经常会显示没有数据。
本来以为只是新的hive所在服务器没有存储原分区表信息,可以msck repair修复即可。
1 | msck repair table partiiton_table_name; |
然而某一个分区表在运行时突然报错了。
1 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
?????
百度了一下就究竟是什么情况,但发现出错的原因却千奇百怪。
在搜寻一番之后找到了方法:
1 set hive.msck.path.validation=ignore;
执行这一句commond后在执行msck repair,分区表正常的修复并获取到数据。
然而这个问题的起因却比较值得研究。
根据参考的资料:Hive从1.3版本开始就会对分区相关的信息进行检测,如果使用了hive不识别的字符,就会报错。
有点意思。
作者:灰色的杰
链接:https://www.jianshu.com/p/e7d7b643f076
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET 原生驾驭 AI 新基建实战系列:向量数据库的应用与畅想
· 从问题排查到源码分析:ActiveMQ消费端频繁日志刷屏的秘密
· 一次Java后端服务间歇性响应慢的问题排查记录
· dotnet 源代码生成器分析器入门
· ASP.NET Core 模型验证消息的本地化新姿势
· ThreeJs-16智慧城市项目(重磅以及未来发展ai)
· .NET 原生驾驭 AI 新基建实战系列(一):向量数据库的应用与畅想
· Ai满嘴顺口溜,想考研?浪费我几个小时
· Browser-use 详细介绍&使用文档
· 智能Agent如何改造传统工作流:从搜索到全能助手