Docker安装logstash连接Mysql实现数据同步

Docker安装logstash连接Mysql实现数据同步

自己在安装过程出现很多错误，主要对配置不够熟悉，这里简单记录一下搭建过程...

• 拉取logstash镜像

docker pull logstash:7.2.0

因为我安装的Elasticsearch版本是7.2.0，这里对应安装7.2.0版本的logstash

• 准备配置文件

这你的配置文件主要就只包含一个自定义的.conf文件，我们也可以通过配置pipelines.yml，logstash.yml 实现启动时自动配置，因为我这里直接在启动的时候直接加载配置文件，所以pipelines.yml，logstash.yml，我没有配置，里面全是被注释掉了的，当然有日志的配置文件log4j2.properties。 我还定义一个用于存储时间戳的配置文件logstash_metadata，和索引的配置文件index_template.json
我将自定义的配置文件命名为mysql.conf ，把有需要的文件放在宿主主机的/user/share/logstash/piplines 目录下，等会挂载到docker容器上

mysql.conf内容

input {
  stdin {
  }
  jdbc {
  jdbc_connection_string => "jdbc:mysql://ip:端口/数据库名?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC"
  # the user we wish to excute our statement as
  jdbc_user => "用户名"
  jdbc_password => 密码
  # the path to our downloaded jdbc driver  
  jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-java-5.1.40.jar" # 这里是连接mysql的jar包
  # the name of the driver class for mysql
  jdbc_driver_class => "com.mysql.jdbc.Driver" 
  jdbc_paging_enabled => "true"
  jdbc_page_size => "50000"
  #要执行的sql文件
  statement => "select * from course_pub where timestamp > date_add(:sql_last_value,INTERVAL 8 HOUR)"  # 执行的sql命令
  #定时配置
  schedule => "* * * * *"
  record_last_run => true
  last_run_metadata_path => "/usr/share/logstash/config/logstash_metadata" # 这里是上次读取时间戳来与数据库查询到的时间戳进行对比，是否向el添加更改数据
  }
}


output {
  elasticsearch {
  #ES的ip地址和端口
  hosts => "192.168.10.131:9200"
  #hosts => ["localhost:9200","localhost:9202","localhost:9203"]
  #ES索引库名称
  index => "xc_course"
  document_id => "%{id}"
  template =>"/usr/share/logstash/config/index_template.json"  # 这里是索引的模版文件
  template_name =>"xc_course"
  template_overwrite =>"true"
  }
  stdout {
 #日志输出
  codec => json_lines
  }
}

• 创建logstash容器

docker run -it -p 5044:5044 -p 9600:9600  --name logstash -v /usr/share/logstash/piplines:/usr/share/logstash/config --privileged=true   logstash:7.2.0 /bin/bash

创建容器后，需要安装logstash-input-jdbc插件。

> cd /usr/share/logstash/bin
> logstash-plugin install logstash-input-jdbc

安装完成后执行命令，启动logstash加载自定义的配置文件

> cd /usr/share/logstash/bin
> ./logstash -f ../config/mysql.conf

到此我们就可以看到logstash启动成功。

• 我在安装过程中遇到的问题
  - 要正确配置到我们自定义.conf配置文件中加载文件和jar包在镜像中位置
  - 我在启动logstash后，提示无法加载mysql-connector-java的jar包，这个问题我一开始以为是jar包问题，后来发现是因为，JDK版本的问题，在拉取的镜像中的，创建容器环境中的JDK版本为11，我们需要卸载掉JDK,重新安装JDK版本到1.8版本，就能成功解决无法加载jar包的问题。