动态分区
使用动态分区表必须配置的参数 : set hive.exec.dynamic.partition =true(默认false),表示开启动态分区功能 set hive.exec.dynamic.partition.mode = nonstrict(默认strict),表示允许所有分区都是动态的,否则必须有静态分区字段 动态分区相关的调优参数: set hive.exec.max.dynamic.partitions.pernode=100 (默认100,一般可以设置大一点,比如1000) 表示每个maper或reducer可以允许创建的最大动态分区个数,默认是100,超出则会报错。 set hive.exec.max.dynamic.partitions =1000(默认值) 表示一个动态分区语句可以创建的最大动态分区个数,超出报错 set hive.exec.max.created.files =10000(默认) 全局可以创建的最大文件个数,超出报错。
#数据插入动态分区例子
------------------------------------------------------------
insert into table test.test_ll_1 partition(dt) select 1,'a',2020 as dt union all select 2,'b',2021 as dt union all select 3,'c',2020 as dt;