win7 mysql同步数据到elasticsearch

安装java

先安装JDK1.8（包括）以上版本，并设置好环境变量，然后cmd输入java –version验证

elasticsearch部署和启动

win7下单实例安装elasticsearch-7.12.0很简单，下载后解压进入elasticsearch-7.12.0/bin目录，打开cmd，直接运行bin\elasticsearch.bat即可，如果启动没作用，需要先双击一下bin\elasticsearch-service-x64.exe

 

然后浏览器中访问es默认地址页面，证明此次ES安装成功

 

下载地址：https://www.elastic.co/downloads/elasticsearch

elasticsearch-head部署和启动

1第一种通过chrome安装插件的方式提供一个可操作es的图形化界面。

在chrome 浏览器中，通过“扩展程序” 添加 elasticsearch head 插件的方式，这种方式无须开启 es的跨域访问。

1、打开链接

谷歌浏览器访问http://extb.cqttech.com/search/elasticsearch%2520head

根据提示下载安装谷歌双核浏览器

 

2、安装下图中插件

 

 

 

 

3、点击放大镜图标使用插件

 

 

2第二种服务器Elasticsearch-head插件的安装与配置

1.安装node.js，最新版的node.js不支持win7了，所以安装了版本10

2安装后设置环境变量，然后cmd输入node –v验证

3执行 npm install -g grunt-cli 安装grunt ，安装完成后执行grunt -version查看是否安装成功，会显示安装的版本号

4下载elasticsearch-head, 下载地址：https://github.com/mobz/elasticsearch-head

5进入head下执行npm install 安装完成后执行grunt server 或者npm run start 运行head插件

 

 

logstash和logstashLogstash-input-jdbc部署

1.软件下载

      官网地址：https://www.elastic.co/cn/downloads/past-releases/#logstash

2.下载后直接解压即可使用

     3.启动并验证

      打开cmd命令行，进入dos窗口，切换到logstash安装路径下的bin目录，执行以下命令：

logstash -e "input { stdin { } } output { stdout {} }"

     正常可以看到如图打印启动成功的信息：

 

安装logstash-input-jdbc插件

【新版本logstash下自带logstash-input-jdbc，故不需要安装logstash-input-jdbc】

    CMD命令行切换到bin目录，执行以下命令安装Logstash-input-jdbc插件：

logstash-plugin install logstash-input-jdbc

mysql java驱动文件下载

 

解压后把mysql-connector-java-8.0.23.jar放到logstash-7.12.0路径 下

mysql同步数据到es操作

1，在mysql中创建一个可以用于测试的数据库logstash_jdbc_test

 

执行以下脚本，创建一个表:

create table testtable (PersonID int, LastName varchar(255), FirstName varchar(255), City varchar(255), Date datetime(6)); 

往表中插入数据：

INSERT INTO testtable (PersonID, LastName, FirstName, City, Date)

VALUES ('4005','Kallis','Jaques','Cape Town','2016-05-23 16:12:03.568810');

INSERT INTO testtable (PersonID, LastName, FirstName, City, Date)

VALUES ('4004','Baron','Richard','Cape Town','2016-05-23 16:12:04.370460');

INSERT INTO testtable (PersonID, LastName, FirstName, City, Date)

VALUES ('4003','McWell','Sharon','Cape Town','2016-05-23 16:12:06.874801'); 

结果如下

 

 

2，将数据导入es

Logstash 配置

在logstash文件夹中，我们要有一个logstash.conf和jdbc.sql文件，该文件是要配置并运行以获取必要结果的文件

logstash.conf如下

input {

    jdbc {

        jdbc_connection_string => "jdbc:mysql://localhost:3306/logstash_jdbc_test?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC"

        jdbc_user => "root"

        jdbc_password => "123456"

        jdbc_driver_library => "E:\logstash-7.12.0\mysql-connector-java-8.0.23.jar"

        jdbc_driver_class => "com.mysql.jdbc.Driver"

        jdbc_paging_enabled => "true"

        jdbc_page_size => "50000"

        statement_filepath => "E:\logstash-7.12.0\bin\jdbc.sql"

        schedule => "* * * * *"

        type => "jdbc"

    }

}

 

filter {

    json {

        source => "message"

        remove_field => ["message"]

    }

}

 

output {

    elasticsearch {

        hosts => ["localhost:9200"]

        index => "test-migrate"

        document_type => "data"

        document_id => "%{person_id}"

    }

    stdout {

        codec => json_lines

    }

} jdbc.sql内容如下:

select * from testtable

将这两个文件放在logstash文件的bin下

 

 

然后进入logstash文件的 bin目录下执行cmd命令logstash.bat -f logstash.conf

即可启动监听，然后你会发现你的数据已经导入到es之中，而且insert和update的时候也会同步进去，修改mysql上的数据后也同样会同步到es