es 集成logstash 同步mysql数据

安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.14.0-linux-x86_64.tar.gz

解压

tar -zxvf logstash-7.14.0-linux-x86_64.tar.gz 

移动

 mv logstash-7.14.0 /usr/local/logstash7_14_0/

授权

chown -R es:es /usr/local/logstash7_14_0

切换es用户

su es

 在config目录下创建配置文件mysql.conf 配置如下

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxx?useUnicode=true&allowMultiQuerie=true&characterEncoding=utf-8&serverTimezone=UTC"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "root"
        # 数据库驱动mysql-connector-java-8.0.19.jar所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash7_14_0/logstash-7.14.0/lib/mysql-connector-java-8.0.17.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
         # 是否开启分页,ture为开启，我这里sql比较复杂所以就放弃使用这个，后面细讲
        jdbc_paging_enabled => false
         # 分页每页数量
        jdbc_page_size => "50"
        # 设置时区
        jdbc_default_timezone =>"Asia/Shanghai"
        # 执行的sql文件路径
        #statement_filepath => "/usr/local/nbin/logstash-7.12.0/my/my.sql"
        #使用这个可以直接写sql语句，但是复杂的语句最好是写在文件内
        #statement =>
        statement => "select * from test_user where create_date>:sql_last_value"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        #是否需要记录某个字段值,如果为true,我们可以自定义要记录的数据库某个字段值，例如id或date字段。如果为false，记录的是上次执行的标记，默认是一个timestamp
        use_column_value => true
        #记录上次执行字段值路径。我们可以在sql语句中这么写：WHERE ID > :last_sql_value。其中 :sql_last_value 取得就是该文件中的值，这个last_id会以文件形式存在，上面截图有
        last_run_metadata_path => "/usr/local/logstash/logstash-7.14.0/sql_last_value/sql_last_value.txt"
        #如果use_column_value为真,需配置此参数. 指定增量更新的字段名。当然该字段必须是递增的，比如id或date字段。
        tracking_column => "create_date"
        # tracking_column 对应字段的类型，只能选择timestamp或者numeric(数字类型)，默认numeric，所以可以不写这个配置
        # tracking_column_type => "numeric"
        tracking_column_type => "timestamp"
       #如果为true，每次会记录所更新的字段的值,并保存到 last_run_metadata_path 指定的文件中
        record_last_run => true
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
         # 是否将字段名称转小写。默认是true。这里注意Elasticsearch是区分大小写的
        lowercase_column_names => true
    } 
}
##过滤、格式化数据 这段单独有讲解，这里就不细说了
##filter{
##    mutate {
##        add_field => {"temp_ts" => "%{actionTimeStamp}"}
##    } 
##    date {
##         match => ["temp_ts", "ISO8601"]
 ##        target => "@timestamp"
 ##   }   
##    mutate  { 
 ##       remove_field => ["@version","temp_ts","actionTimeStamp"]
##    } 
##}
output {
    elasticsearch {
         # es地址 集群数组hosts => ["127.0.0.1:9200","127.0.0.1:9201"]     
        hosts => ["127.0.0.1:9200"] 
       # 同步的索引名必须要有@timestamp  不然yyyyMM不起效
        # index => "ps_sign_log%{+yyyy}"
        index => "mes_jinlon_dev"
        # 设置_docID和数据相同
        document_id => "%{id}"
        #自定的模板名称
        # template_name => "ps_seal_log"
        #自定义的模板配置文件
        # template => "/usr/local/nbin/logstash-7.12.0/my/ps_test_log_template.json"
        #是否重写模板
        # template_overwrite => true 
    }
  # 日志输出形式设置
    stdout {
        codec => json
        #codec => rubydebug
    }
}

lib目录下加入mysql驱动

在bin目录启动logstash

./logstash -f ../config/mysql.conf

在kibana界面可以看到数据已经同步过来了