Hive使用动态分区插入数据
往hive分区表中插入数据时,如果一张表的数据量非常大,需要按照日期分区,且将指定日期的数据插入到对应分区,如果使用进来分区一天一天的手工输入,效率极低,故hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。
假如有两张表临时表 trade_detail_his 和目标表 Historical 表
create table Historical (Id string) partitioned by (dt string) row format delimited fields terminated by ',';
然后往目标表Historical 插入数据
SET hive.exec.dynamic.partition=true; --开启动态分区,默认是false SET hive.exec.dynamic.partition.mode=nonstric; -- 开启允许所有分区都是动态的,否则必须要有静态分区才能使用。 insert into Historical partition(dt) select id as id, product_code as dt from default.trade_detail_his; --写成多行数据insert进去,目前也在找原因中
查看分区信息
show partitions Historical ;
注意:
要点1:分区字段放在最后,且要按照顺序写。因为Historical 表中只有一个字段,所以当我们查询了两个字段时(多了dt字段),所以系统默认以最后一个字段dt为分区名,因为分区表的分区字段默认也是该表中的字段,且依次排在表中字段的最后面。所以分区需要分区的字段只能放在后面,不能把顺序弄错。如果我们查询了三个字段的话,则会报错,因为该表加上分区字段也才两个个。要注意系统是根据查询字段的位置推断分区名的,而不是字段名称。
要点2:字段类型保持一致,不然进去的数据会用null填充