Hive使用动态分区插入数据

   往hive分区表中插入数据时,如果一张表的数据量非常大,需要按照日期分区,且将指定日期的数据插入到对应分区,如果使用进来分区一天一天的手工输入,效率极低,故hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。

假如有两张表临时表 trade_detail_his 和目标表 Historical 表

create table Historical (Id string) partitioned by (dt string) row format delimited fields terminated by ',';

然后往目标表Historical 插入数据

SET hive.exec.dynamic.partition=true;                                    --开启动态分区,默认是false
SET hive.exec.dynamic.partition.mode=nonstric;                           -- 开启允许所有分区都是动态的,否则必须要有静态分区才能使用。
insert into  Historical partition(dt)
select id  as id, product_code as dt from default.trade_detail_his;      --写成多行数据insert进去,目前也在找原因中

查看分区信息

show partitions Historical ;

注意:

要点1:分区字段放在最后,且要按照顺序写。因为Historical 表中只有一个字段,所以当我们查询了两个字段时(多了dt字段),所以系统默认以最后一个字段dt为分区名,因为分区表的分区字段默认也是该表中的字段,且依次排在表中字段的最后面。所以分区需要分区的字段只能放在后面,不能把顺序弄错。如果我们查询了三个字段的话,则会报错,因为该表加上分区字段也才两个个。要注意系统是根据查询字段的位置推断分区名的,而不是字段名称。

要点2:字段类型保持一致,不然进去的数据会用null填充

 

posted @ 2021-07-19 15:30  欣欣姐  Views(3215)  Comments(0Edit  收藏  举报