姜小嫌

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

hive 元数据修复命令

 msck repair table xxx;

也可以用于分区表的快速复制

例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢?

1.复制建表语句

2.从线上下载分区表数据
hadoop fs -get /user/hive/warehouse/public.db/table_partition/ .

3.把分区数据put到线下表中
hadoop fs -put table_partition/* /user/hive/warehouse/public.db/table_partition

4.这时候hive无法识别分区数据
需要 msck repair table table_partition;

大功告成!!!

posted on 2018-08-27 16:57  姜小嫌  阅读(6218)  评论(0编辑  收藏  举报