centos7配置Logstash同步Mysql数据到Elasticsearch

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。个人认为这款插件是比较稳定，容易配置的使用Logstash之前，我们得明确自己的需求场景是什么，从哪种类型的数据源同步数据到哪种存储库。Logstash版本迭代较快，每个版本的插件都有点区别，比如6.3版本以后output到没有jdbc的插件，然而你如果想使用output的jdbc插件就需要去安装插件(logstash-output-jdbc)，也就是说，如果你想用output的jdbc，你就必须使用6.3以下(最好5.x)的版本。这里以Logstash5.3.1版本为例。

1.下载安装

Logstash不支持jdk1.10，建议使用1.8。Logstash版本要与Es版本保持一致。下载地址：https://www.elastic.co/cn/downloads/past-releases/logstash-5-3-1

上传到目录，例如：usr/local/src

解压  tar -zxvf  logstash-5.3.1.tar.gz

重命名 mv logstash-5.3.1 logstash

启动验证：

cd logstash

bin/logstash -e 'input{stdin{}} output{stdout{}}'，输出如下，代表启动成功：

关闭

ps -ef | grep logstash

kill pid

2.配置目录

配置文件目录：logstash/config

新建配置文件test.conf

下载mysql-connector-java-5.1.30.jar，下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.30

logstash目录下创建一个jar目录，用来存放jar文件 

mkdir jar
在logstash目录下创建一个sql目录，用来存放查询sql文件test.sql

mkdir sql

3.配置文件

Logstash同步数据方式有全量同步和增量同步两种，不同方式配置文件有细微不同。第一次同步时需要全量的数据，之后则需要定时去同步增量数据，使用logstash需要了解一下事项：

1.凡是SQL可以实现的logstash均可以实现（本就是通过sql查询数据）

2.支持每次全量同步或按照特定字段（如自增ID、更新时间）增量同步

3.同步频率可控，最快同步频率每分钟一次（如果对实效性要求较高，慎用）

4.不支持被物理删除的数据同步物理删除ES中的数据（可在表设计中增加逻辑删除字段标识数据删除）

全量同步

test.conf文件内容如下：

input {
  jdbc {
      # mysql 数据库链接,test为数据库名
      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
      jdbc_user => "root"
      jdbc_password => "root"

      # 驱动路径
      jdbc_driver_library => "/usr/local/src/logstash/jar/mysql-connector-java-5.1.30-bin.jar"

      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"

      #是否分页
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"

      #直接执行sql语句
      #statement =>"select * from test"
      # 执行的sql 文件路径+名称
      statement_filepath => "/usr/local/src/logstash/sql/test.sql"

      #设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"

      # 索引类型
      #type => "jdbc"
    }

}

output {
  elasticsearch {
        #es的ip和端口
        hosts => ["http://127.0.0.1:9200"]
        #ES索引名称（自己定义的）
        index => "test_logstash"
        #文档类型（自己定义的）
        document_type => "test"
        #设置es中数据的id为数据库中的字段(一般设置为mysql中主键字段)
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }

}

test.sql文件内容如下：

#sql查询语句，mysql中怎样写，此处就怎样写
select * from table

指定配置文件启动Logstash：

cd logstash

bin/logstash -f config/test.conf

会看到mysql中数据会在屏幕显示，如果有报错，一般为配置文件出错。

后台启动：nohup bin/logstash -f config/test.conf 

增量同步

test.conf文件内容如下：

input {
  jdbc {
      # mysql 数据库链接,test为数据库名
      jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
      jdbc_user => "root"
      jdbc_password => "root"

      # 驱动路径
      jdbc_driver_library => "/usr/local/src/logstash/jar/mysql-connector-java-5.1.30-bin.jar"

      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"

      #是否分页
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      
      record_last_run => true
      use_column_value => true
      tracking_column => "id"
      last_run_metadata_path => "/usr/local/src/logstash/last_run_record"


      #直接执行sql语句
      statement =>"statement =>"select * from test where id >:sql_last_value""
      # 执行的sql 文件路径+名称
      #statement_filepath => "/usr/local/src/logstash/sql/test.sql"

      #设置监听间隔  各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"

      # 索引类型
      #type => "jdbc"
    }

}

output {
  elasticsearch {
        #es的ip和端口
        hosts => ["http://127.0.0.1:9200"]
        #ES索引名称（自己定义的）
        index => "test_logstash"
        #文档类型（自己定义的）
        document_type => "test"
        #设置es中数据的id为数据库中的字段(一般设置为mysql中主键字段)
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }

}

红色部分是跟全量同步有区别的地方：

record_last_run：记录最后运行结果

use_column_value：记录字段

tracking_column：记录字段名，这里就是id

last_run_metadata_path：记录数据保存位置

sql_last_value：下次在执行同步的时候会将这个值，赋给sql_last_value

启动Logstash后，以后就是根据查询条件增量同步数据了。

到此，使用Logstash同步Mysql数据到Es就算完成了，各位如果觉得还有点意义，烦请点一下推荐，加个关注，互相交流，如果安装过程有任何问题或者发现错误，都可以留言交流，共同进步！