logstash从MySQL导入数据到ES
下载安装
- 一定要对应ES版本(5.x,6.x,7.x)
- win下不用安装解压即用 , 解压目录不能带有空格和中文 , 否则会有奇奇怪怪的报错无法运行
- win下要给logstash文件夹赋予管理员权限 , 否则执行的时候会读取不到文件
下载地址:https://github.com/elastic/logstash/releases
解压出来文件夹内容
编写脚本
- 在mysql2es文件夹中创建脚本 , 方便后续使用修改
- 在mysql2es文件夹中放一个MySQL的驱动jar包 , 后续会使用
input {
jdbc {
# mysql 连接地址
jdbc_connection_string => "jdbc:mysql://10.0.5.167:3306/law?useUnicode=true&characterEncoding=utf-8&useSSL=false"
# 用户名 密码
jdbc_user => "1234"
jdbc_password => "4321"
# mysql 驱动jar包的绝对路径,不要有中文目录不要有空格
jdbc_driver_library => ".\mysql2es\mysql-connector-java-8.0.20.jar"
# mysql 驱动Class
jdbc_driver_class => "com.mysql.jdbc.Driver"
# 是否开启分页 true开启
jdbc_paging_enabled => "true"
# 分页大小 10000条一页
jdbc_page_size => "10000"
# sql语句的配置文件路径,如果sql语句比较长,那么写在文件里指定路径
#statement_filepath => ""
# sql语句 select * 字段就全部添加到ES里了,如果要指定指定字段 select id,name ...
statement => "SELECT * FROM A"
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
schedule => "* * * * *"
}
}
output {
elasticsearch {
#ES IP地址与端口
hosts => "esIP地址:端口号"
#ES索引名称(自己定义的)
index => "xxx"
#自增ID编号 这里是固定语法 %{} 里面写mysql表那个字段就用那个字段作为ES _id 的值
document_id => "%{id}"
# ES 下的 type
document_type => "xxx"
}
# 控制台输出输入流和输出流
stdout {
#以JSON格式输出
codec => json_lines
}
}
从MySQL表中查询出字段 , 对应ES索引中的结构 , 导入数据
执行脚本
- 用管理员cmd窗口进入logstash下的bin目录
- 执行命令 logstash -f ../mysql2es/mysql.conf
- 等待执行完毕 , 关闭cmd窗口