canal canal.deployer 数据库同步ES使用

版本

截止到2022-3-29 还是canal.deployer1.1.4稳定！其他的都会报怪米日眼的问题。。

 

canal系列的梳理

canal-server 作为服务端像canal-client推送数据

canal-adapter 这玩意儿是自定义处理binlog时可以用到的项目..

canal.deployer 配置好就只直接读取binlog的项目

 

有效的参考

https://www.cnblogs.com/throwable/p/12483983.html

 

其他参考

https://www.jianshu.com/p/69e25cc228fe

 

 

 

canal.deployer 报错信息

 

can‘t find start position for example

 

报错信息如下
ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - dump address 172.16.0.20:3306 has an error, retrying. caused by
com.alibaba.otter.canal.parse.exception.PositionNotFoundException: can’t find start position for example

原因
meta.dat 中保存的位点信息和数据库的位点信息不一致；导致canal抓取不到数据库的动作；

解决方案
单机
删除meta.dat文件，重启canal，问题解决；

集群
进入canal对应的zookeeper集群下，删除节点/otter/canal/destinations/xxxxx/1001/cursor ；重启canal即可恢复；

 

全部重新同步binlong需要

删除canal.deployer  logs下的 meta.data 以及kafka中的topic