Elasticsearch logstsh同步mysql数据到ES中

1、准备：

1) 启动前面搭建的ES集群， 192.168.127.130， 192.168.127.128，  192.168.127.129

2) 准备要同步的数据库和数据   数据库所在的服务器IP为192.168.1.104 数据库端口为3306 数据库名shop，表名items

items的表结构如下

 

 items表的数据如下

 

 这里有两条数据，实际环境会有更多的数据。

3) 创建items索引

5个分片和1个副本

 

 

2、版本信息

ElasticSearch 7.4.2

Logstash 7.4.2

 

3、Logstash介绍

数据采集，从数据库中采集数据到ElasticSearch

以id或者update_time 作为同步边界

logstash-input-jdbc插件。

预先创建索引

注意Logstash的版本要与ES的版本保持一致。

 

4、Logstash下载

官网下载太慢，建议下载地址， https://www.newbe.pro/Mirrors/Mirrors-Logstash/ 

我这里下载的版本为7.4.2

登录192.168.127.130 服务器，下面的操作也是在130这台服务器中进行。

cd /home/tools

tar -zxvf  logstash-7.4.2.tar.gz

mv logstash-7.4.2  /usr/local/

 

安装JDK，我这里安装的是1.8版本

 

5、同步配置

cd /usr/local/logstash-7.4.2

mkdir sync

1) items.sql

cd sync

vi items.sql

 

 

 

 

2) 将mysql-connector-java-5.1.48.jar 拷贝到/usr/local/logstash-7.4.2/logstash-core/lib/jars

3) 配置文件

cd  /usr/local/logstash-7.4.2/sync

vi logstash-db-sync.conf

input {
    jdbc {
        # 设置 MySql/MariaDB 数据库url以及数据库名称
        jdbc_connection_string => "jdbc:mysql://192.168.1.104:3306/shop?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true"
        # 用户名和密码
        jdbc_user => "root"
        jdbc_password => "123456"
        # 数据库驱动所在位置，可以是绝对路径或者相对路径
        jdbc_driver_library => "/usr/local/logstash-7.4.2/logstash-core/lib/jars/mysql-connector-java-5.1.48.jar"
        # 驱动类名
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 开启分页
        jdbc_paging_enabled => "true"
        # 分页每页数量，可以自定义
        jdbc_page_size => "1000"
        # 执行的sql文件路径
        statement_filepath => "/usr/local/logstash-7.4.2/sync/items.sql"
        # 设置定时任务间隔  含义：分、时、天、月、年，全部为*默认含义为每分钟跑一次任务
        schedule => "* * * * *"
        # 索引类型
        type => "_doc"
        # 是否开启记录上次追踪的结果，也就是上次更新的时间，这个会记录到 last_run_metadata_path 的文件
        use_column_value => true
        # 记录上一次追踪的结果值
        last_run_metadata_path => "/usr/local/logstash-7.4.2/sync/track_time"
        # 如果 use_column_value 为true， 配置本参数，追踪的 column 名，可以是自增id或者时间
        tracking_column => "update_time"
        # tracking_column 对应字段的类型
        tracking_column_type => "timestamp"
        # 是否清除 last_run_metadata_path 的记录，true则每次都从头开始查询所有的数据库记录
        clean_run => false
        # 数据库字段名称大写转小写
        lowercase_column_names => false
    }
}
output {
    elasticsearch {
        # es地址
        hosts => ["192.168.127.130:9200","192.168.127.128:9200","192.168.127.129:9200"]
        # 同步的索引名
        index => "items"
        # 设置_docID和数据相同
        document_id => "%{id}"
        # document_id => "%{itemId}"
    }
    # 日志输出
    stdout {
        codec => json_lines
    }
}

 补充： 如果 192.168.1.130 连接不上mysql（192.168.1.104），在mysql所在的服务器中修改访问权限 

如允许所有的IP访问Mysql

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';

 

6、启动同步

cd /usr/local/logstash-7.4.2/bin

./logstash -f /usr/local/logstash-7.4.2/sync/logstash-db-sync

 

 如上图所示，数据已经在同步了。

 

7、查看同步的数据

 

 可以看到，数据已经从MySQL同步到了ES中了。