日志以天分区导入表

#①建分区表

CREATE EXTERNAL TABLE IF NOT EXISTS test_partiton_date(

id int,

name string

)

PARTITIONED BY (ds string)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

LINES TERMINATED BY '\n'

STORED AS TEXTFILE;

 

#②创建分区（创建了分区之后，在hdfs的表现就是存在了这个目录）

 

 

alter table test_partiton_date ADD PARTITION (ds='2020-07-16');

 

 

 

#③linux本地日志logs上传hdfs对应的分区目录。（上传后数据就已经入表）

 

 

 

 

 

 

#④指定分区查找

 

SELECT * FROM test_partiton_date WHERE  ds = '2020-07-16';

 

 

 

 

 

 

 

还满足压缩格式的文件。

 

创建另一个分区。

alter table test_partiton_date ADD PARTITION (ds='2020-07-17');

 

上传压缩文件。

 

 

指定分区查询。