使用阿里canal实现mysql与Elasticsearch增量同步
一、背景介绍
最近在做一个地理信息相关的项目，需要维护大量的地址描述数据，同时需要提供对数据检索的功能，准备采用Elasticsearch（6.7）实现。那么问题就来了，地址数据需要同时在MySQL和ES中维护，如果通过代码层面实现会增加代码量也不易维护，权衡之下决定使用阿里的Canal中间件来实现，留念备查。
Canal主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，工作原理是伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议，MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )，canal 解析 binary log 对象(原始为 byte 流)。同时支持客户端数据落地的适配功能，目前支持关系型数据库的数据同步、HBase的数据同步和ElasticSearch多表数据同步。
二、环境准备
1、MySQL数据库安装；
2、Elasticsearch安装；
3、Canal Server安装及配置，参考https://github.com/alibaba/canal/wiki/QuickStart；
4、Canal Client Adapter安装，参考https://github.com/alibaba/canal/wiki/ClientAdapter；
三、Canal Server配置instance
1、在canal server安装目录下找到/conf/canal.properties，在canal.destinations配置项中增加一个instance，我这里配置的是es-address-original
1 ################################################# 2 ######### destinations ############# 3 ################################################# 4 canal.destinations = es-address-original
2、在/conf目录下创建es-address-original文件夹，并创建instance.properties文件，大家可以直接复制conf目录下的example目录进行修改，主要配置参数如下，其它参考自行参考官方文档
# MySQL数据库连接信息 canal.instance.master.address=192.168.x.x:3306 canal.instance.dbUsername=canal canal.instance.dbPassword=canal canal.instance.connectionCharset = UTF-8 # mysql 数据解析关注的表，Perl正则表达式 # 多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\) # 常见例子： # 1. 所有表：.* or .*\\..* # 2. canal schema下所有表： canal\\..* # 3. canal下的以canal打头的表：canal\\.canal.* # 4. canal schema下的一张表：canal\\.test1 # 5. 多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔) canal.instance.filter.regex=address-platform\\.address_original
四、Canal Adapter配置
client-adapter分为适配器和启动器两部分, 适配器为多个fat jar, 每个适配器会将自己所需的依赖打成一个包, 以SPI的方式让启动器动态加载, 目前所有支持的适配器都放置在plugin目录下
1、在canal adapter的conf目录下找到application.yml配置文件（根据官方介绍启动器为SpringBoot项目）
server: port: 8081 spring: jackson: date-format: yyyy-MM-dd HH:mm:ss time-zone: GMT+8 default-property-inclusion: non_null canal.conf: mode: tcp # 客户端模式 tcp or kafka or rocketMQ canalServerHost: 127.0.0.1:11111 # canal server address # zookeeperHosts: slave1:2181 # mqServers: 127.0.0.1:9092 #or rocketmq # flatMessage: true batchSize: 500 # 每次获取数据的批大小，单位为K syncBatchSize: 1000 # 每次同步的批数量 retries: 0 # 重试次数，-1为无限重试 timeout: # 同步超时时间，单位为毫秒 accessKey: secretKey: srcDataSources: # 源数据库 defaultDS: url: jdbc:mysql://192.168.0.201:3306/address-platform?useUnicode=true username: root password: 123456 canalAdapters: - instance: es-address-original # canal instance Name or mq topic name对应canal server中配置的instance名称 groups: - groupId: g1 outerAdapters: - key: addressOriginalKey name: es hosts: 192.168.x.x:9200 # 127.0.0.1:9200 for rest mode properties: mode: rest # transport or rest # # security.auth: test:123456 # only used for rest mode cluster.name: elasticsearch # ES集群名称
2、/conf/es下新增配置文件，文件名随意，配置内容如下
dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值 outerAdapterKey: addressOriginalKey # 对应application.yml中es配置的key destination: es-address-original # cannal的instance或者MQ的topic groupId: g1 # 对应MQ模式下的groupId, 只会同步对应groupId的数据 esMapping: _index: address_original # es 的索引名称 _type: _doc # es 的type名称, es7下无需配置此项 _id: id # es 的_id, 如果不配置该项必须配置下面的pk项_id则会由es自动分配 upsert: true # pk: id sql: "select a.ID as id, a.ADDRESS as address, a.SERIAL_NO as serial_no from address_original a" # sql映射，注意区分表字段和索引字段大小写 # objFields: # _labels: array:; # etlCondition: "where a.c_time>={}" # etl 的条件参数 commitBatch: 3000 # 提交批大小
3、创建ES索引信息，通过postman请求ES服务器http://192.168.x.x:9200/address_original，address_original是索引的名称，请求方式为PUT，参数类型为raw（json）
4、这里有几个坑注意一下：
1）canal适配器会通过GET http://192.168.x.x:9200/address_original/_mapping的方式读取es mapping，如果创建索引的时候没有配置mappings信息，会报Not found the mapping info of index异常；
2）测试的时候表字段名是大写，es索引字段名称小写，抛了空指针异常没有具体的异常描述，后来将/canal adapter/conf/es目录中的配置文件sql配置项采用别名统一小写后解决，这里推测数据库表与索引映射名称区分大小写的，后面再看看源码求证一下；
五、运行测试
1、在MySQL数据库address_original表中维护数据（增删改）；
2、观察canal adapter日志；
六、运行结果
索引文档结果会根据数据库操作同步更新
