6.X版本Elasticsearch索引生命周期管理方案

转载自博客：https://baijiahao.baidu.com/s?id=1687520186680755279&wfr=spider&for=pc

一、前言

在 Elasticsearch 的日常中，有很多如存储系统日志、行为数据等方面的应用场景，这些场景的特点是数据量非常大，并且随着时间的增长索引的数量也会持续增长，然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用（热数据），而历史数据几乎没有作用或者很少会被使用（冷数据），这个时候就需要对索引进行一定策略的维护管理甚至是删除清理，否则随着数据量越来越多除了浪费磁盘与内存空间之外，还会严重影响 Elasticsearch 的性能；

在 Elastic Stack 6.6 版本后推出了新功能 Index Lifecycle Management(索引生命周期管理)，支持针对索引的全生命周期托管管理，并且在 Kibana 上也提供了一套 UI 界面来配置策略。本文主要介绍 Elasticsearch 索引生命周期管理如何配置和使用。

二、生命周期

2.1. 阶段介绍

索引生命周期分为4个阶段：hot、warm、cold、delete，其中hot主要负责对索引进行rollover操作。

rollover：滚动更新创建的新索引将添加到索引别名，并被指定为写索引。

PS：4个阶段中只有hot阶段是必须的

索引根据时间参数min_age进入生命周期阶段，若未设置，默认是0ms。min_age通常是从创建索引的时间开始计算，如果索引被设置为滚动索引，那么min_age是从索引滚动开始计算。注意，在检查min_age参数并进入下一个阶段前，当前阶段的操作必须完成

2.2. 阶段

2.3. 例子

下面以索引 syslog-2020.10.01 为例子，在索引创建 1 天后转为 Warm 阶段，30 天后转为 Cold 阶段，30 天后删除

三、模拟过程

3.1. 创建索引生命周期策略

假设 Policy 设定如下：

索引以每10个文档做一次 RolloverRollover 后 5 秒转为 Warm 阶段Rollover 后 20 秒转为 Cold 阶段Rollover 后 40 秒删除

ip、用户名和密码按实际情况修改

3.2. 关联策略

关联策略有两种方式，分别是使用索引模板关联和索引直接关联

3.2.1. 索引模板关联

索引模板来创建所需的索引，并关联ilm策略

ip、用户名和密码按实际情况修改

index.lifecycle.name：指明该索引应用的 ILM Policy index.lifecycle.rollover_alias：指明在 Rollover 的时候使用的 alias index.routing.allocation.include.box_type：指明新建的索引都分配在 hot 节点上

3.2.2. 索引直接关联

为现有的索引单独关联策略

ip、用户名和密码按实际情况修改

3.3. 查看索引所处阶段

3.4. 更新策略

如果没有index应用这份策略，那么我们可以直接更新该策略。如果有index应用了这份策略，那么当前正在执行的阶段不会同步修改，当当前阶段结束后，会进入新版本策略的下个阶段。如果更换了策略，当前正在执行的阶段不会变化，在结束当前阶段后，将会由新的策略管理下一个生命周期。3.5. kibana图形化操作

上述的步骤，大部分都可以在Kibana中以图形化界面的方式进行操作