hive的简单操作
hive创建表的基本命令
命令 | 解释 |
external | 外部表关键字 不写表示内部表,也叫管理表 |
if not exists | 判断是否存在,存在就不建了. |
comment | 表注释 给表的解释 |
row format | 设置文件的格式化内容 |
delimited fields terminated by ' ' | 设置一行上每个列之间的分割 |
lines terminated by '' | 设置行分割 |
collection items terminated by '' | 集合型和数组型和对象型数据的内部分割 |
map keys terminated by '' | map集合的内部分割 |
partitioned by() |
分区表 把表中的数据分到不同的地方 分区表中的分割原则是不能再表中出现的列 |
into num_buckets buckets |
分桶表 把表分到不同的地方 分桶表中的分割原则是按照表中已有的列进行分割的 |
stored as textfile | 存储文件的类型,默认是文本 |
location '' | 设置文件位置. |
建库
hive中有一个默认的库:
库名: default
库目录:hdfs://192.168.14.101:50070/user/hive/warehouse
新建库:
create database db_order;
库建好后,在hdfs中会生成一个库目录:
hdfs://192.168.14.101:50070/user/hive/warehouse/hive_test.db
建表
基本建表语句
create table t_order(id string,create_time string,amount float,uid string);
表建好后,会在所属的库目录中生成一个表目录 /user/hive/warehouse/hive_test.db/t_order
只是,这样建表的话,hive会认为表数据文件中的字段分隔符为 ^A
正确的建表语句为:
create table t_order(id string,create_time string,amount float,uid string)
row format delimited
fields terminated by ',';
这样就指定了,我们的表数据文件中的字段分隔符为 ","
删除表
drop table t_order;
删除表的效果是:
hive会从元数据库中清除关于这个表的信息;
hive还会从hdfs中删除这个表的表目录;
内部表与外部表
内部表(MANAGED_TABLE):表目录按照hive的规范来部署,位于hive的仓库目录/user/hive/warehouse中
外部表(EXTERNAL_TABLE):表目录由建表用户自己指定
create external table t_access(ip string,url string,access_time string)
row format delimited
fields terminated by ','
location '/access/log';
外部表和内部表的特性差别:
1、内部表的目录在hive的仓库目录中 VS 外部表的目录由用户指定
2、drop一个内部表时:hive会清除相关元数据,并删除表数据目录
3、drop一个外部表时:hive只会清除相关元数据;
一个hive的数据仓库,最底层的表,一定是来自于外部系统,为了不影响外部系统的工作逻辑,在hive中可建external表来映射这些外部系统产生的数据目录;
然后,后续的etl操作,产生的各种表建议用managed_table
分区表
分区表的实质是:在表目录中为数据文件创建分区子目录,以便于在查询时,MR程序可以针对分区子目录中的数据进行处理,缩减读取数据的范围。
比如,网站每天产生的浏览记录,浏览记录应该建一个表来存放,但是,有时候,我们可能只需要对某一天的浏览记录进行分析
这时,就可以将这个表建为分区表,每天的数据导入其中的一个分区;
当然,每日的分区目录,应该有一个目录名(分区字段)
示例如下
create table t_access(ip string,url string,access_time string)
partitioned by(dt string)
row format delimited
fields terminated by ',';
注意:分区字段不能是表定义中的已存在字段
向分区中导入数据
load data local inpath '虚拟机的地址' into table t_access partition(dt='20170804');
load data local inpath '虚拟机的地址' into table t_access partition(dt='20170805');
注意:local 是本机的意思,去掉之后,语句代表的是 从hdfs上传到hive表中
针对分区数据进行查询
a、统计8月4号的总PV:
select count(*) from t_access where dt='20170804';
实质:就是将分区字段当成表字段来用,就可以使用where子句指定分区了
b、统计表中所有数据总的PV:
select count(*) from t_access;
实质:不指定分区条件即可
多个分区字段示例
建表:
create table t_partition(id int,name string,age int)
partitioned by(department string,sex string,howold int)
row format delimited fields terminated by ',';
导数据:
load data local inpath '/root/p1.dat' into table t_partition partition(department='xiangsheng',sex='male',howold=20);