Hive 元数据

合集 - 数据仓库技术与应用(11)

1.掌握Hive数据存储模型2024-06-282.了解Hive基础2024-06-283.MYSQL语法：左连接、右连接、内连接、全外连接2024-03-124.Hive数据库及表操作2024-06-285.Hive高级操作-查询操作2024-06-286.Hive数据库及表操作2024-06-287.Hive高级操作-排序操作2024-06-288.Hive高级操作-窗口函数2024-06-289.Hive的内置函数（数学、字符串、日期、条件、转换、行转列）2024-06-2810.视图和索引2024-06-28

11.Hive 元数据2024-06-28

收起

元数据，即解释数据的数据。在Hive架构中，数据库/表内实际数据存放在HDFS之类的分布式存储系统中，但这些数据并不带有数据库/表/字段之类的描述信息，这些信息均由单独的关系型数据库维护（一般用MySQL）。

表信息

TBLS

记录数据表的信息，可以作为左表，去关联表的其他信息。

TABLE_PARAMS

存储Hive表的属性信息，表结构如下，就三个字段。

每个表的信息基本上都有如下属性：

COLUMNS_V2

保存表的字段信息

2

分区信息

PARTITIONS

PARTITION_PARAMS

分区的参数

参数可选值：

PARTITION_KEYS

分区字段的名字，类型，顺序

PARTITION_KEY_VALS

分区字段的值

3

数据库信息

DBS

记录数据库的信息

4

版本信息

Version

该表只能有一条记录，保存了 Hive 的版本信息。

5

存储相关

SDS

此对象包含有关属于表的数据的物理存储的所有信息，数据表的存储描述。

SD_PARAMS

该表存储Hive存储的属性信息，在创建表时候使用. 通过STORED BY

6

序列化相关，存储格式

SERDES

记录序列化和反序列化信息

SERDES_PARAM

7

自定义函数

FUNCS

记录用户的自定义函数