canal-admin的高可用使用

canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例，以及问题
  
一、软件下载
1、介绍

    canal的主要的作用就是通过MySQL的binlog日志文件，同步数据到MQ，MQ包含mysql、kafka、tcp等等
    canal-admin是一个webUI界面，通过界面配置的方式，管理canal的配置文件，方便易于管理。

2、下载

使用的有点击下载：canal.deployer-1.1.4.tar.gz  和   canal.admin-1.1.4.tar.gz

下载链接：https://github.com/alibaba/canal/releases

 
二、配置canal-admin

官网案列：https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart
1、修改配置文件

    #  在Linux的服务器中
    # 直接在服务器中下载，或者是在wind下载之后需要传到服务器上
    wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz
     
    # 解压
    mkdir /tmp/canal-admin
    tar zxvf canal.admin-1.1.4.tar.gz  -C /tmp/canal-admin
     
    # 修改配置文件
    vi conf/application.yml
     
    # 主要配置
    spring.datasource:
      address: 127.0.0.1:3306           #数据库的ip
      username: root                    #数据库的账号
      password: root                    #数据库的密码
    canal:
      adminUser: admin                  #canal-admin的账号
      adminPasswd: 123456               #canal-admin的密码(默认是admin，改成6位以上的密码)

2、初始化数据库

    # 连接上面配置的mysql数据库
    mysql -h 127.1 -u root -p
     
    --  最好在/tem/canal-admin目录下连接数据库
    >source conf/canal_manager.sql

3、启动canal-admin

    # 在bin目录里面启动：
    sh bin/startup.sh

在webUI界面查看： http://127.0.0.1:8089/ 访问，默认密码：admin/123456

 
三、配置canal-1.1.4

官网案例：https://github.com/alibaba/canal/wiki/Canal-Admin-ServerGuide
1、配置文件

canal-1.1.4的版本较之前的版本基本一样，就是在配置文件上有一点不同，在conf/目录下有两个主要的全局配置文件，一个是：canal.properties这个和之前所有版本的配置一样，还有一个是canal_local.properties这个是指定canal-admin的UI界面的。在此我们主要是使用canal_local.properties这个配置，使得canal运行之后，配置可以在webUI端快速的更改配置。

    # canal服务端的ip最好使用主机映射
    canal.register.ip = hadoop001
     
    # 这个是webUI的配置
    canal.admin.manager = 127.0.0.1:8089             #登录的ip
    canal.admin.port = 11110                         #交互的端口
    canal.admin.user = admin                         #webUI的账号
    canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9  #webUI密码的暗文
    # admin auto register
    canal.admin.register.auto = true
    canal.admin.register.cluster =                #集群的名字

2、配置密码

上面配置的webUI的密码暗文需要到mysql的数据库查询的，我们配置的密码是123456，所以需要到数据库产生

    mysql> select password(123456);
    +-------------------------------------------+
    | password(123456)                          |
    +-------------------------------------------+
    | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
    +-------------------------------------------+
    1 row in set, 1 warning (0.00 sec)

3、启动

1）要先启动canal-admin

2）在canal-admin的UI界面配置主配置，以及server配置。参考：四、webUI的使用

3)上面步骤配置完成才能启动。在canal的安装目录/bin目录下执行startup.sh 传入参数local

    # 启动方法一：
    sh bin/startup.sh local
     
     
    # 启动方法二：
    # ---将canal_local.properties配置文件的名字改成canal.properties(删除原有的)
    sh bin/startup.sh

4、高可用（服务端高可用）

1）在多台机器上重复以上：1、配置文件；2、配置密码；3启动步骤（与UI界面的server配置要吻合）

2）个人理解集群模式也即高可用模式，一般情况下只用开启一个服务端就可以用了，而集群模式就开了多个服务，每个服务也是相互独立的（只有元数据是一样的在zookeeper保存），当手动的关闭一个服务，不会影响集群以及数据导入的，实例会在其他服务上重新启动。
四、webUI的使用

官网案例：https://github.com/alibaba/canal/wiki/Canal-Admin-Guide
1、主配置

主配置就和之前的版本的配置一样也就是canal目录下的canal.properties文件的配置。其中canal.properties:集群模式不用配置ip

2、server配置

配置基本保持默认就好
3、instance配置

canal的实例配置

instance.properties:配置如之前版本

参考配置：

https://blog.csdn.net/weixin_40126236/article/details/90474784

https://blog.csdn.net/weixin_40126236/article/details/92654961   
五、问题
1、启动顺序问题

首先canal的服务需要去canal-admin上去读取配置文件，所以canal-admin需要先启动，就是要先有UI界面，然后在启动canal服务。注意：canal的服务默认是读取本地的配置，启动时一定要加上loacl这个参数，或者改配置文件的名字。
2、元数据问题

在主配置里面canal.instance.global.spring.xml这个配置如果选择的是:

    file-instance.xml（一般是单机模式）元数据保存在conf/实例/instance.xml
    default-instance.xnl (为集群模式) 元数据保存在zookeeper里面/otter/canal/destinations   （需要配置zookeeper地址）

3、zookeeper改变

如果主配置的zookeeper地址改变了，需要修改集群的zookeeper和主配置的canal.zkServers参数，最好同时删除conf目录下的所有实例和zookeeper里面保存的所有实例。最后重启canal-admin，再重启canal服务
————————————————
 
原文链接：https://blog.csdn.net/weixin_40126236/article/details/100777543