【Canal】Canal 简介与单机、HA模式搭建

概述

canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

官方GitHub：

https://github.com/alibaba/canal

工作原理

MySQL主备复制原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

单机模式安装

安装前提环境

所需环境	本文环境
linux	centos 7.0
jdk	jdk1.8
mysql	mysql5.7

安装步骤

1.1下载地址

下载tar.gz结尾的压缩包，主要是admin和deployer包，本文演示版本1.1.4；

canal.admin-1.1.4.tar.gz 此为canal的web管理页面，非必须，为了可视化管理

canal.deployer-1.1.4.tar.gz 此为canal的服务器端，核心组件

1.2上传linux

利用FTP工具或者linux自带RZ命令，上传压缩包到常用目录（本文上传到/opt/soft目录）

[root@bigdata112 soft]# rz

1.3解压包

在/opt/module目录下，新建canal-admin和canal-server目录，用于存放解压的文件；

[root@bigdata112 module]# mkdir canal-admin
[root@bigdata112 module]# mkdir cana-server

切换到soft目录，然后分别解压两个压缩包到新建canal-admin和canal-server的目录

[root@bigdata112 module]# cd ../soft
[root@bigdata112 soft]# tar -zvxf canal.admin-1.1.4.tar.gz -C /opt/module/canal-admin/
[root@bigdata112 soft]# tar -zvxf canal.deployer-1.1.4.tar.gz -C /opt/module/canal-server/

1.4配置canal-admin环境

释义：canal-admin 为web管理页面，可以通过图形化进行查看和修改，方便快捷。

修改canal-admin/conf/application.yml相关配置（添加注释部分按需要修改）

server:
  # 默认端口，可以修改为自己的
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  # 若mysql在本机则无需修改，其他机器则写对应ip
  address: 127.0.0.1:3306
  # canal数据库默认名字，无需修改
  database: canal_manager
  # 数据库用户名和密码修改
  username: root
  # 注意密码添加单引号，尤其是有特殊字符时，容易报链接出错
  password: 'root'
  # 若mysql版本是8以上，则需要改为 com.mysql.cj.jdbc.Driver
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

初始化canal数据库

[root@bigdata112 conf]# cd /opt/module/canal-admin/conf
[root@bigdata112 conf]# ll
总用量 24
-rwxrwxrwx. 1 root root  485 3月  12 19:26 application.yml
-rwxrwxrwx. 1 root root 3898 9月   2 2019 canal_manager.sql
-rwxrwxrwx. 1 root root 5123 9月   2 2019 canal-template.properties
-rwxrwxrwx. 1 root root 2036 9月   2 2019 instance-template.properties
-rwxrwxrwx. 1 root root 1568 9月   2 2019 logback.xml
drwxrwxrwx. 3 root root   68 3月  12 19:08 public
[root@bigdata112 conf]# mysql -uroot -proot
mysql>  source canal_manager.sql

1.5启动canal-admin服务

[root@bigdata112 canal-admin]# bin/startup.sh

可以查看一下启动日志，如下就代表启动成功：

[root@bigdata112 canal-admin]# tail -f logs/admin.log 
2020-03-12 19:38:15.342 [main] INFO  o.s.web.servlet.handler.SimpleUrlHandlerMapping - Mapped URL path [/**] onto handler of type [class org.springframework.web.servlet.resource.ResourceHttpRequestHandler]
2020-03-12 19:38:15.560 [main] INFO  o.s.w.s.m.m.annotation.ExceptionHandlerExceptionResolver - Detected @ExceptionHandler methods in customExceptionHandler
2020-03-12 19:38:15.639 [main] INFO  o.s.b.a.web.servlet.WelcomePageHandlerMapping - Adding welcome page: class path resource [public/index.html]
2020-03-12 19:38:15.834 [main] INFO  o.s.jmx.export.annotation.AnnotationMBeanExporter - Registering beans for JMX exposure on startup
2020-03-12 19:38:15.835 [main] INFO  o.s.jmx.export.annotation.AnnotationMBeanExporter - Bean with name 'dataSource' has been autodetected for JMX exposure
2020-03-12 19:38:15.842 [main] INFO  o.s.jmx.export.annotation.AnnotationMBeanExporter - Located MBean 'dataSource': registering with JMX server as MBean [com.zaxxer.hikari:name=dataSource,type=HikariDataSource]
2020-03-12 19:38:15.854 [main] INFO  org.apache.coyote.http11.Http11NioProtocol - Starting ProtocolHandler ["http-nio-8089"]
2020-03-12 19:38:15.895 [main] INFO  org.apache.tomcat.util.net.NioSelectorPool - Using a shared selector for servlet write/read
2020-03-12 19:38:15.919 [main] INFO  o.s.boot.web.embedded.tomcat.TomcatWebServer - Tomcat started on port(s): 8089 (http) with context path ''
2020-03-12 19:38:15.923 [main] INFO  com.alibaba.otter.canal.admin.CanalAdminApplication - Started CanalAdminApplication in 8.543 seconds (JVM running for 13.991)

或者jps命令查看，出现CanalAdminApplication代表服务启动成功

[root@bigdata112 canal-admin]# jps
2445 CanalAdminApplication
2509 Jps

1.6访问canal-admin测试

由于本机做了hosts映射，192.168.1.112 对应 bigdata112，所以可以在浏览器使用 bigdata112:8089访问：

账号：admin

密码：123456

若想要修改密码，管理页面可以操作修改密码。

1.7开启mysql的binlog

1.7.1 关闭canal-admin服务

[root@bigdata112 canal-admin]# bin/stop.sh 
bigdata112: stopping canal 2445 ... 
Oook! cost:1

1.7.2 修改mysql的my.cnf文件

查找mysql的my.cnf配置文件位置，并增加开启binlog的配置；

[root@bigdata112 canal-admin]# whereis my.cnf
my: /etc/my.cnf
[root@bigdata112 canal-admin]# vi /etc/my.cnf
[mysqld]
server_id=1
log-bin=mysql-bin
binlog_format=row

1.7.3重启mysql服务并查看配置是否生效

重启并查看配置是否生效，如下显示则代表成功生效；

[root@bigdata112 canal-admin]# systemctl restart mysqld.service
[root@bigdata112 canal-admin]# mysql -uroot -proot
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.7.19-log MySQL Community Server (GPL)

Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.03 sec)
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | ON    |
+---------------+-------+
1 row in set (0.00 sec)

1.7.4 配置canal账户和赋权限

由于本文为mysql5.7，密码策略比较严格，所以进行了相关密码策略的修改，为了创建canal的账户需要，如果mysql版本为5.7以下的，可以直接进行创建用户和赋权操作。

mysql> set GLOBAL validate_password_length=5;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_number_count=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_mixed_case_count=0;
Query OK, 0 rows affected (0.00 sec)

mysql> set global validate_password_special_char_count=0;
Query OK, 0 rows affected (0.00 sec)

mysql> CREATE USER canal IDENTIFIED BY 'canal';
Query OK, 0 rows affected (0.08 sec)

mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES; 
Query OK, 0 rows affected (0.00 sec)

mysql> show grants for 'canal' ;
+---------------------------------------------------------------------------+
| Grants for canal@%                                                        |
+---------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' |
+---------------------------------------------------------------------------+
1 row in set (0.00 sec)

1.8 启动canal-server服务

开启命令：

[root@bigdata112 canal-admin]# cd ../canal-server/
[root@bigdata112 canal-server]# ll
总用量 8
drwxr-xr-x. 2 root root   72 3月  12 19:10 bin
drwxr-xr-x. 5 root root 4096 3月  12 19:10 conf
drwxr-xr-x. 2 root root 4096 3月  12 19:10 lib
drwxrwxrwx. 2 root root    6 9月   2 2019 logs
[root@bigdata112 canal-server]# bin/startup.sh

关闭命令：

[root@bigdata112 canal-server]# bin/stop.sh

查看是否成功：

[root@bigdata112 canal-server]# jps
2743 CanalLauncher
2777 Jps

出现CanalLauncher进程就代表启动成功了；

OK，单机搭建就到此为止了；

HA高可用模式搭建

三台机器分别为bigdata111，bigdata112，bigdata113，相关软件环境；

bigdata111	bigdata112	bigdata113
centos7.0	centos7.0	centos7.0
jdk1.8	jdk1.8	jdk1.8
zookeeper3.4	zookeeper3.4	zookeeper3.4
	mysql5.7
canal-server	canal-server	canal-server
	canal-admin

由于上面演示了bigdata112的单机安装，则HA的安装在如上基础上进行。

1.分发解压目录

在bigdata112执行scp命令，将bigdata112的canal-server发送到bigdata111,bigdata113服务器。

[root@bigdata112 ~]# scp -r /opt/module/canal-server/ root@bigdata111:/opt/module/
[root@bigdata112 ~]# scp -r /opt/module/canal-server/ root@bigdata113:/opt/module/

2.修改配置

bigdata111配置

在/opt/module/canal-server/conf目录下操作：

[root@bigdata111 canal-server]# cd conf/
[root@bigdata111 conf]# ll
总用量 20
-rwxr-xr-x. 1 root root  291 3月  16 04:43 canal_local.properties
-rwxr-xr-x. 1 root root 5134 3月  16 04:43 canal.properties
drwxrwxrwx. 2 root root   47 3月  16 04:43 example
-rwxr-xr-x. 1 root root 3119 3月  16 04:43 logback.xml
drwxrwxrwx. 2 root root   38 3月  16 04:43 metrics
drwxrwxrwx. 3 root root 4096 3月  16 04:43 spring
[root@bigdata111 conf]# vi canal.properties

#修改zkServers地址
canal.zkServers =bigdata111:2181,bigdata112:2181,bigdata113:2181

#注释file-instance.xml
#canal.instance.global.spring.xml = classpath:spring/file-instance.xml
#开启default-instance.xml
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

修改完毕保存，然后进入example目录，修改instance

[root@bigdata111 conf]# cd example/
[root@bigdata111 example]# ll
总用量 196
-rw-r--r--. 1 root root 196608 3月  16 04:43 h2.mv.db
-rwxr-xr-x. 1 root root   2036 3月  16 04:43 instance.properties
[root@bigdata111 example]# vi instance.properties

# 解开注释，并修改数字，只要保证三台机器这个数字不重复即可
canal.instance.mysql.slaveId=111

# 填写mysql的地址，由于我们装在bigdata112上，所以改为了bigdata112
canal.instance.master.address=bigdata112:3306

bigdata112配置

重复bigdata111的操作步骤，注意将/opt/module/canal-server/conf/example/instance.properties的数字修改一下，同时数据库地址写成主机名或内网IP地址；

canal.instance.mysql.slaveId=112
canal.instance.master.address=bigdata112:3306

bigdata113配置