ES索引数据清理脚本示例

说明：我得索引是按月份创建的，索引名后面都有yyyy.MM

需求：删除三个月以前的索引，清理收集的应用日志数据，释放磁盘空间 

 1、

#!/bin/bash

# 定义 Elasticsearch 节点的地址
ELASTICSEARCH_HOST="192.168.53.100"
ELASTICSEARCH_PORT="9200"

# 计算三个月之前的年月
THREE_MONTHS_AGO=$(date -d "3 months ago" +"%Y.%m")

# 要清理的索引前缀
INDEX_PREFIXES=("myapp" "ruoyiapp")

# 循环遍历索引前缀
for prefix in "${INDEX_PREFIXES[@]}"
do
    # 构建索引名称
    INDEX_NAME="$prefix-$THREE_MONTHS_AGO"
    
    # 使用 curl 发送删除索引的请求
    curl -X DELETE "$ELASTICSEARCH_HOST:$ELASTICSEARCH_PORT/$INDEX_NAME"
done

在此示例中，我们定义了 Elasticsearch 节点的地址和端口。然后，我们使用 date 命令计算了三个月之前的年月，并将其存储在变量 THREE_MONTHS_AGO 中。接着，我们定义了一个包含要清理的索引前缀的数组 INDEX_PREFIXES，然后使用循环遍历该数组，构建索引名称并使用 curl 发送 DELETE 请求来删除指定的索引。

请注意，由于日期计算可能因操作系统而异，以上示例中的日期计算部分（date -d "3 months ago" +"%Y.%m"）可能需要根据您的操作系统进行相应的修改。另外，请根据实际情况修改脚本中的 Elasticsearch 节点地址。由于删除操作可能对数据造成永久性影响，请务必在生产环境中谨慎使用。

2、

#!/bin/bash

# 获取当前日期的三个月之前的日期
three_months_ago=$(date -d "-3 months" +%Y.%m.%d)

HOST="192.168.53.100"
PORT="9200"
USER=elastic
PASSWD=elas#123

# 定义要查找的索引前缀数组
index_prefixes=("prefix1" "prefix2" "prefix3")

# 连接Elasticsearch并获取所有索引名称
indices=$(curl -u $USER:$PASSWD -s -XGET "$HOST:$PORT/_cat/indices?v" | awk '{print $3}')

# 循环遍历每个索引前缀
for prefix in "${index_prefixes[@]}"
do
  # 过滤出指定前缀的索引
  filtered_indices=$(echo "$indices" | grep "$prefix")
  
  # 循环遍历索引并删除三个月之前及更早的索引
  for index in $filtered_indices
  do
    index_date=$(echo $index | awk -F "-" '{print $NF}')
    if [[ $index_date < $three_months_ago ]]; then
      echo "Deleting index: $index"
      curl -u $USER:$PASSWD -X DELETE "$HOST:$PORT/$index"
    fi
  done
done