mysql数据上传logstash实践

1 创建索引生命周期

里面设置滚动别名

2 设置索引模板

其中设置 ilm 生命周期，

设置字段的类型属性

3 手工创建带日期的索引

如

# PUT /<my-index-{now/d}>
PUT /%3Cmy-index-%7Bnow%2Fd%7D%3E

4 设置刚建的索引的别名，关联上ilm

POST /_aliases 
{
  "actions": [
    {
      "add":{
        "index":"my-index-2022.01.24-000001",
        "alias":"my-index",
        "is_write_index"：true
      }
    }
  ]
}

重试索引生命周期

5 logstash 中设置索引为my-index（别名）

说明

loastash 增量查询中的 sql_last_value ，可以通过配置 $HOME/.logstash_jdbc_last_run文件 来指定

loastash 自带过滤， 和date str转时间处理器

参考
https://www.elastic.co/guide/en/elasticsearch/reference/7.15/date-math-index-names.html
https://cntofu.com/book/52/input/stdin.md
https://www.jianshu.com/p/f47bf814e032
https://dzone.com/articles/migrating-mysql-data-to-elasticsearch-using-logsta
https://www.mianshigee.com/question/131735gle/