Hive中分区表与数据产生关联的方式
关于hive中分区表的概念,不细述了。这里只谈一下如何让hive分区表和数据产生关联?
hive 中先创建一张分区表
往该hive内表对应的hdfs路径上传数据
这时候查看该表的分区:
可以看到并没有 month=202205/tradingday=20220509
分区。
方式一:通过 msck 修复表数据
这时候再查看分区时,可以看到分区已经存在了:
方式二:通过 load 的方式
注意: 如果是 load local 本地的文件时,效果是
复制文件
的效果;但如果是 load hdfs 文件时则是文件移动
的效果
此处先不做测试,后续补上
方式三:通过 alter add parition 方式
这种方式是目前最推荐的方式。
如果你的 hive 内表某个分区对应的 hdfs 路径某个目录下的文件/数据 经常修改,但是分区并没有改变时,如果你用的是 impala 引擎时,你是需要执行 refresh 操作的,切记:refresh 针对的是 数据改动,并不会感知到 分区的修改。
本文来自博客园,作者:LoremMoon,转载请注明原文链接:https://www.cnblogs.com/hello-cnblogs/p/17358305.html
标签:
bigdata
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现