关于Hive创建分区目录且能查到数据的三种方法

关于Hive创建分区目录且能查到数据的三种方法

1. 使用dfs -mkdir 和 dfs -put 分别创建分区目录和上传数据，此时执行msck repair table 表名 命令就能查询到数据

1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191115;创建分区目录

 

 2. 使用dfs -put /opt/module/hiveTest/pv_15.log /user/hive/warehouse-master/pv_log/day=20191115/ 上传本地数据到分区目录中

 

3. 此时select * from pv_log where day='20191115';查询不到20191115这一天的数据

 

 

4. 使用msck repair table pv_log;这条修复语句后，再执行查询语句就可查询到20191115这一天的数据

 

 

2. 使用dfs -mkdir 和 dfs -put 分别创建分区目录和上传数据，此时执行alter table 表名 add partition(分区目录名) 命令就可查询到数据

1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191116;创建分区目录，以及使用dfs -put /opt/module/hiveTest/pv_16.log /user/hive/warehouse-master/pv_log/day=20191116/ 上传本地数据到分区目录中

 

 2. 此时执行alter table pv_log add partition(day='20191116');语句后，就可查询到数据

 

 3. 使用dfs -mkdir 创建分区目录，此时执行load data local inpath '本地数据所在的路径' into table 表名 partition(分区目录名);语句后，就可查询到数据

1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_log/day=20191117;创建分区目录

 

 2. 使用load data local inpath '/opt/module/hiveTest/pv_17.log' into table  pv_log partition(day='20191117');语句加载数据后，就能查询到数据