Hive——元数据表含义
Hive——元数据表含义
1、VERSION -- 查询版本信息
Field | Type | Comment | |
---|---|---|---|
VER_ID | bigint(20) | ID主键 | |
SCHEMA_VERSION | varchar(127) | Hive版本 | |
VERSION_COMMENT | varchar(255) | 版本说明 |
2、DBS -- 存储Hive中所有数据库的基本信息
Field | Type | Comment | |
---|---|---|---|
DB_ID | bigint(20) | 数据库ID | |
DESC | varchar(4000) | 数据库描述 | |
DB_LOCATION_URI | varchar(4000) | 数据库HDFS路径 | |
NAME | varchar(128) | 数据库名 | |
OWNER_NAME | varchar(128) | 数据库所有者用户名 | |
OWNER_TYPE | varchar(10) | 所有者角色 |
3、DATABASE_PARAMS --该表存储数据库的相关参数,在CREATE DATABASE时候用
Field | Type | Comment | |
---|---|---|---|
DB_ID | bigint(20) | 数据库ID | |
PARAM_KEY | varchar(180) | 参数名 | |
PARAM_VALUE | varchar(4000) | 参数值 |
4、TBLS --该表中存储Hive表、视图、索引表的基本信息
Field | Type | Comment | |
---|---|---|---|
TBL_ID | bigint(20) | 表ID | |
CREATE_TIME | int(11) | 创建时间 | |
DB_ID | bigint(20) | 数据库ID | |
LAST_ACCESS_TIME | int(11) | 上次访问时间 | |
OWNER | varchar(767) | 所有者 | |
RETENTION | int(11) | 保留字段 | |
SD_ID | bigint(20) | 序列化配置信息 | |
TBL_NAME | varchar(128) | 表名 | |
TBL_TYPE | varchar(128) | 表类型 | |
VIEW_EXPANDED_TEXT | mediumtext | 视图的详细HQL语句 | |
VIEW_ORIGINAL_TEXT | mediumtext | 视图的原始HQL语句 |
5、TABLE_PARAMS --该表存储表/视图的属性信息。
Field | Type | Comment | |
---|---|---|---|
TBL_ID | bigint(20) | 表ID | |
PARAM_KEY | varchar(256) | 属性名 | |
PARAM_VALUE | varchar(4000) | 属性值 |
6、SDS --该表保存文件存储的基本信息,如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。
Field | Type | Comment | |
---|---|---|---|
SD_ID | bigint(20) | 存储信息ID | |
CD_ID | bigint(20) | 字段信息ID | |
INPUT_FORMAT | varchar(4000) | 文件输入格式 | |
IS_COMPRESSED | bit(1) | 是否压缩 | |
IS_STOREDASSUBDIRECTORIES | bit(1) | 是否以子目录存储 | |
LOCATION | varchar(4000) | HDFS路径 | |
NUM_BUCKETS | int(11) | 分桶数量 | |
OUTPUT_FORMAT | varchar(4000) | 文件输出格式 | |
SERDE_ID | bigint(20) | 序列化类ID |
7、SERDS --该表存储序列化使用的类信息
Field | Type | Comment | |
---|---|---|---|
SERDE_ID | bigint(20) | 序列化类配置ID | |
NAME | varchar(128) | 序列化类别名 | |
SLIB | varchar(4000) | 序列化类 |
8、SERDE_PARAMS --该表存储序列化的一些属性、格式信息,比如:行、列分隔符
Field | Type | Comment | |
---|---|---|---|
SERDE_ID | bigint(20) | 序列化类配置ID | |
PARAM_KEY | varchar(256) | 属性名 | |
PARAM_VALUE | varchar(4000) | 属性值 |
9、COLUMNS_V2 --该表存储表对应的字段信息。
Field | Type | Comment | |
---|---|---|---|
CD_ID | bigint(20) | 字段信息ID | |
COMMENT | varchar(256) | 字段注释 | |
COLUMN_NAME | varchar(128) | 字段名 | |
TYPE_NAME | varchar(4000) | 字段类型 | |
INTEGER_IDX | int(11) | 字段顺序 |
10、PARTITIONS --该表存储表分区的基本信息。
Field | Type | Comment | |
---|---|---|---|
PART_ID | bigint(20) | 分区ID | |
CREATE_TIME | int(11) | 分区创建时间 | |
LAST_ACCESS_TIME | int(11) | 最后一次访问时间 | |
PART_NAME | varchar(767) | 分区名 | |
SD_ID | bigint(20) | 分区存储ID | |
TBL_ID | bigint(20) | 表ID |
11、PARTITION_KEYS --该表存储分区的字段信息。
Field | Type | Comment | |
---|---|---|---|
TBL_ID | bigint(20) | 表ID | |
PKEY_COMMENT | varchar(4000) | 分区字段说明 | |
PKEY_NAME | varchar(128) | 分区字段名 | |
PKEY_TYPE | varchar(767) | 分区字段类型 | |
INTEGER_IDX | int(11) | 分区字段顺序 |
12、PARTITION_KEY_VALS --该表存储分区字段值。
Field | Type | Comment | |
---|---|---|---|
PART_ID | bigint(20) | 分区ID | |
PART_KEY_VAL | varchar(255) | 分区字段值 | |
INTEGER_IDX | int(11) | 分区字段值顺序 |
13、PARTITION_PARAMS --该表存储分区的属性信息。
Field | Type | Comment | |
---|---|---|---|
PART_ID | bigint(20) | 分区ID | |
PARAM_KEY | varchar(256) | 分区属性名 | |
PARAM_VALUE | varchar(4000) | 分区属性值 |
其他不常用的元数据表:
DB_PRIVS:数据库权限信息表。通过GRANT语句对数据库授权后,将会在这里存储。
IDXS:索引表,存储Hive索引相关的元数据
INDEX_PARAMS:索引相关的属性信息。
TAB_COL_STATS:表字段的统计信息。使用ANALYZE语句对表字段分析后记录在这里。
TBL_COL_PRIVS:表字段的授权信息
PART_PRIVS:分区的授权信息
PART_COL_STATS:分区字段的统计信息。
PART_COL_PRIVS:分区字段的权限信息。
FUNCS:用户注册的函数信息
FUNC_RU:用户注册函数的资源信息