impala 更新元数据 以及 用impala对复杂类型的列 查询
impala是MPP型数据库, 支持HIVE 和 S3 作为底层存储.
impala 刷新元数据
impala 能从Hive的metastore里获取表结构的元数据, 但是并不能感知 hive 的改动, 所以如果hive的表结构发生了改动需要手动来刷新 impala 缓存的元数据.
刷新方式有两种:
INVALIDATE METADATA sometable;
REFRESH sometable;区别:
1. 如果新增了一张表或者删除了一张表, 需要 使用 INVALIDATE METADATA
2. 如果是已经存在的表增删了分区, 使用 REFRESH 即可.
impala 查询 带有复杂类型(complex type, 又称 nested type)字段的表
impala不支持直接查询复杂类型字段, 当你用 select * 查询时只会返回基本类型的列
对于复杂来行, 基本的处理方式是把复杂类型当作一张表, 这和hive 的 LATERAL VIEW explode 很像
比如 array 类型视为 一张表, 其列名为 item
map类型有两个列, 一个是key, 一个是value
struct类型 的列名如hive表中定义
参考:
https://blog.csdn.net/u014469615/article/details/78533162
以map类型为例:
select col1, m.key, m.value from table1, table1.mapcol as m
