Hive动态分区

1.开启支持动态分区

  set hive.exec.dynamic.partition=true; --默认为false

  set hive.exec.dynamic.partition.mode=nostrict;

2.相关参数介绍

  set hive.exec.max.dynamic.partitions.pernode;

    --每一个执行的mapreduce节点上,允许创建的动态分区数【默认100】

  set hive.exec.max.dynamic.partitions;

    --所有执行mapreduce节点上,允许创建的所有动态分区数【默认1000】

  set hive.exec.max.created.files;

    --所有的mapreduce job 允许创建文件的最大数量【默认100000】

3.加载数据

  from data11

  insert overwrite table data22 partition(age, sex)

  select id,name,age,sex,likes distribute by age,sex;

 

posted @ 2019-04-16 21:19  云山之巅  阅读(766)  评论(0编辑  收藏  举报