canal实时同步mysql数据到redis或ElasticSearch
一、Canal架包下载上传
（一）下载
官网架包地址为：https://github.com/alibaba/canal/releases/tag/canal-1.1.5-alpha-2
本人百度云盘下载地址：
链接：https://pan.baidu.com/s/1MM5YGubaTW3Y2hy1tvBmPw
提取码：jiur
（二）上传解压
创建canal文件夹
cd /usr/local mkdir canal
将下载好的canal上传至Linux服务器 /usr/local/canal目录下进行解压。
tar -zxvf canal.deployer-1.1.5-SNAPSHOT.tar.gz
二、配置MySQL文件
（一）修改MySQL my.cnf配置文件
1．查找MySQL在Linux环境中的my.cnf
mysql --help|grep 'my.cnf'
如图：
2．修改my.cnf
vi /etc/my.cnf
log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复
（二）重启 MySQL
查看MySQL启动状态 service mysqld status(5.0版本是mysqld) service mysql status(5.5.7版本是mysql) 重启MySQL service mysqld restart service mysql restart (5.5.7版本命令)
（三）查看MySQL binlog文件是否开启
1．在Linux中登录MySQL
mysql -u 用户名 -p 如：mysql -u root -p 输入密码对应的账号密码
2．查看binlog文件是否开启
show variables like 'log_%';
效果如下：
三、创建canal账号
（一）设置canal账号并赋权
drop user 'canal'@'%'; CREATE USER 'canal'@'%' IDENTIFIED BY 'canal'; -- 创建canal用户 grant all privileges on *.* to 'canal'@'%' identified by 'canal'; -- 为canal用户赋予repication权限 flush privileges;
如果出现以下情况，说明MySQL设置了密码难度，需要修改MySQL设置，如果没有出现则调过以下步骤
1．查看MySQL的策略
SHOW VARIABLES LIKE 'validate_password%';
2．设置MySQL密码验证强调的策略
set global validate_password_policy=LOW;
3．设置MySQL密码最低长度
set global validate_password_length=5;
4．重新设置一下账号即可
drop user 'canal'@'%'; CREATE USER 'canal'@'%' IDENTIFIED BY 'canal'; -- 创建canal用户 grant all privileges on *.* to 'canal'@'%' identified by 'canal'; -- 为canal用户赋予repication权限 flush privileges;
如图
四、构建CanalService
（一）修改instance.properties配置
vi /usr/local/canal/conf/example/instance.properties
canal.instance.master.address=127.0.0.1:3306
canal.instance.dbUsername=canal#此处是我们为mysql配置的canal用户 canal.instance.dbPassword=canal#此处是我们为mysql配置的canal用户的密码 canal.mq.topic=mysql-yjlcplatform-topic #mq消息主题
（二）修改canal.properties
vi /usr/local/canal/conf/canal.properties
canal.serverMode = kafka kafka.bootstrap.servers = 192.168.200.7:9092
（三）启动canal
cd /usr/local/canal/bin ./ startup.sh
查看canal启动日志
cat /usr/local/canal/logs/example/example.log
以下效果需要等一会儿
注意：
在启动canal的时候可能会报kafka连接超时，则重新启动kafka即可。
（四）验证MySQL与kafka是否关联成功
下载ZooInspector工具进行验证：
链接：https://pan.baidu.com/s/1SbiszPvYVfbmdDQRsdLAqg
提取码：cyb8
五、后端项目代码
（一）Pom配置文件
<dependencies>
<!-- springBoot集成kafka -->
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
</dependencies>
（二）bootstrap.yml配置文件
# kafka
spring:
kafka:
# kafka服务器地址(可以多个)
bootstrap-servers: 192.168.200.7:9092
consumer:
# 指定一个默认的组名
group-id: kafka2
# earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
# latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
# none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
auto-offset-reset: earliest
# key/value的反序列化
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
producer:
# key/value的序列化
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
# 批量抓取
batch-size: 65536
# 缓存容量
buffer-memory: 524288
（三）Java文件
1．启动类
/**
* --------------------------------------------------------------
* FileName: AppMemberCanalClient.java
*
* @Description:消费端
* @author: cyb
* @CreateDate: 2020-09-07
* --------------------------------------------------------------
*/
@SpringBootApplication
public class AppMemberCanalClient {
public static void main(String[] args) {
SpringApplication.run(AppMemberCanalClient.class);
}
}
2．后端监听类
package com.yjlc.kafka.client;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;
@Component
public class MembetKafkaConsumer {
@KafkaListener(topics = "mysql-yjlcplatform-topic")
public void receive(ConsumerRecord<?, ?> consumer) {
System.out.println("topic名称:" + consumer.topic() + ",key:" +
consumer.key() + "," +
"分区位置:" + consumer.partition()
+ ", 下标" + consumer.offset() + "," + consumer.value());
String json = (String) consumer.value();
JSONObject jsonObject = JSONObject.parseObject(json);
String type = jsonObject.getString("type");
String pkNames = jsonObject.getJSONArray("pkNames").getString(0);
JSONArray data = jsonObject.getJSONArray("data");
String table = jsonObject.getString("table");
String database = jsonObject.getString("database");
for (int i = 0; i < data.size(); i++) {
JSONObject dataObject = data.getJSONObject(i);
String key = database + ":" + table + ":"+dataObject.getString(pkNames);
switch (type) {
case "UPDATE":
case "INSERT":
break;
case "DELETE":
break;
}
}
}
}
以上功能亲测有效。如对以上内容有疑问的可以留言讨论，转载请说明出处，本人博客地址为：https://www.cnblogs.com/chenyuanbo/
技术在于沟通交流！
