Hive索引优化

Hive索引

Hive索引能够优化查询速度。

Hive原始索引

需要手动重建索引，不推荐，在hive3.0中已经被废弃。

开启方式

set hive.optimize.index.filter=true

Row Group Index(行组索引)

作用

作用于 数值 类型的>=< 条件查询。

开启方式

1. hive.optimize.index.filter

2. 创建表时开启索引

   CREATE TABLE lxw1234_orc2 
   (id int, pcid int)
   stored AS ORC
   TBLPROPERTIES
   (
       'orc.compress'='SNAPPY',
   --      开启行组索引，默认开启
       'orc.create.index'='true'
   )
   

3. 插入数据时，按照索引字段排序

   insert into lxw1234_orc2 
   SELECT CAST(siteid AS INT) AS id, pcid
   FROM lxw1234_text
   --      插入的数据保持排序
   cluster by id;
   --  DISTRIBUTE BY id sort BY id;
   

使用索引查询：

set hive.optimize.index.filter=true;
SELECT COUNT(1) FROM lxw1234_orc1 
-- 对数值类型字段进行条件查询
WHERE id >= 1382 AND id <= 1399;

Bloom Filter Index(布隆索引)

作用

作用于任意 类型的 = 条件查询。

开启方式

创建表时，指定索引字段。

CREATE TABLE lxw1234_orc2 stored AS ORC
TBLPROPERTIES
(
    'orc.compress'='SNAPPY',
    'orc.create.index'='true',
--      pcid字段开启BloomFilter索引
    'orc.bloom.filter.columns'='pcid'
--     pcid可以有多个索引 例：'pcid,id'
)
AS
SELECT CAST(siteid AS INT) AS id,
pcid
FROM lxw1234_text
DISTRIBUTE BY id sort BY id;

使用索引查询：

SET hive.optimize.index.filter=true;
SELECT COUNT(1) FROM lxw1234_orc1 WHERE id >= 0 AND id <= 1000
-- 使用等值条件查询
AND pcid IN ('0005E26F0DCCDB56F9041C','A');