EFK 数据生命周期

EFK（Elasticsearch + Fluentd + Kibana）生命周期

Elasticsearch创建索引时，自动删除索引，清理历史数据；

一、创建生命周期策略

索引生命周期策略——创建索引——索引名（delete_2day）——（【关闭】启用滚动更新）——删除阶段（设置删除时间（2天））——另存为新策略

二、配置索引

索引管理——索引模版——创建模版——模版名（xxxxxx_logs）——索引模式（celery-，rest_api-等等索引的前缀匹配）——下一步——下一步——索引设置（如下）——下一步——下一步——创建模版

{
  "index": {
    "lifecycle": {
      "name": "delete_2day" # (名字自定义)
    }
  }
}

三、添加策略

索引生命周期策略——delete_2day（操作）——添加策略到索引模版——模版索引（选择刚创建的xxxxx_logs）——添加策略

四、配置策略

索引管理——选择一个新的索引（新的索引代表创建为索引生命周期策略后创建的索引，可以手动删除旧的索引，es会自动创建新的索引）——查看索引在 结论处 有 索引生命周期策管理 策略即说明配置成功

五、索引生命周期策略

索引生命周期策略——delete_2day——显示请求（页面右下角），delete模块actions为空（没有删除动作？），解决：通过URL创建索引生命周期（以下示例是删除2天前的索引），登录服务器执行以下命令即可

curl -X PUT --user elastic:elastic "192.168.1.11:9200/_ilm/policy/delete_2day" -H 'Content-Type: application/json' -d'
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "set_priority": {
            "priority": 100
          }
        }
      },
      "delete": {
        "min_age": "2d",
        "actions": {
        "delete": {}
        }
      }
    }
  }
}
'

结果返回：{"acknowledged":true}
刷新kibana页面，再次查看（显示请求），模版内的actions为delete: {"delete_searchable_snapshot": true}

六、索引管理

索引管理，删除所有的索引，待es自动创建后，所有的索引将自动添加delete_2day生命周期策略。

Kibana 可视化和分析

1、索引模式——创建索引模式——所以模式名称（【celery】，可以匹配到以access开头的索引，目前配置是按照日期自动创建一个索引）——下一步——时间字段（选择 @timestamp）——创建索引模式
2、返回kibana可视化和分析——Discover，可以看的access索引的数据信息，即就是对应access.log的日志信息
3、其它日志按照此方法从 创建索引模式 开始，一步步添加配置即可。