随笔分类 - Canal

Canal 实现同步到 MySQL 从库库级镜像同步含 DDL 语句

摘要：原文地址：canal常见问题排查(三) - 意犹未尽 - 博客园 (cnblogs.com) 【方案一】 canal.deploy 配置 vim /opt/module/canal/deployer/conf/canal.properties canal.serverMode = tcp # 只同步阅读全文

posted @ 2022-08-19 21:21 CHANG_09 阅读(2010) 评论(0) 推荐(0) 编辑

Canal 实现同步到 MySQL 从库单表仅数据

摘要：原文：canal 实现 mysql 数据同步 admin 配置 mysql -uroot -p < /opt/module/canal/admin/conf/canal_manager.sql >> ~/execsql.log deployer 配置 vim /opt/module/canal/de 阅读全文

posted @ 2022-08-18 15:48 CHANG_09 阅读(666) 评论(0) 推荐(0) 编辑

Canal 数据同步到 Kafka Canal 配置2

摘要：配置 canal vim /opt/module/canal/conf/canal.properties ################################################# ######### common argument ############# ####### 阅读全文

posted @ 2022-08-17 19:30 CHANG_09 阅读(712) 评论(0) 推荐(0) 编辑

关于 mysql5.7 中创建一个用户并为其 grant 权限操作失败的问题

摘要：SQL: -- 创建授权 canal 账号具有 slave 权限 -- 查看密码策略状态 select plugin_name, plugin_status from information_schema.plugins where plugin_name like 'validate%'; -- 阅读全文

posted @ 2022-08-17 15:01 CHANG_09 阅读(507) 评论(0) 推荐(0) 编辑

/opt/module/canal/conf/example/instance.properties

摘要：################################################### mysql serverId , v1.0.26+ will autoGencanal.instance.mysql.slaveId=1234canal.instance.gtidon=false 阅读全文

posted @ 2022-08-16 20:44 CHANG_09 阅读(48) 评论(0) 推荐(0) 编辑

/opt/module/canal/conf/canal.properties

摘要：################################################# ######### common argument ############################################################### tcp bind i 阅读全文

posted @ 2022-08-16 20:42 CHANG_09 阅读(58) 评论(0) 推荐(0) 编辑

删除 canal 实例

摘要：如果canal启动时候从日志看到报这个错误：can't find start position for example。有如下解决方法：●单机删除meta.dat文件，重启canal，问题解决。●集群进入canal对应的zookeeper集群下，删除节点/otter/canal/destinatio 阅读全文

posted @ 2022-08-16 20:13 CHANG_09 阅读(323) 评论(0) 推荐(0) 编辑

canal Could not find first log file name in binary log index file

摘要：ERROR c.a.o.canal.parse.inbound.mysql.dbsync.DirectLogFetcher - I/O error while reading from client socketjava.io.IOException: Received error packet: 阅读全文

posted @ 2022-04-22 09:08 CHANG_09 阅读(561) 评论(0) 推荐(0) 编辑

实时数仓项目架构 Canal

摘要：实时数仓学习目标理解实时数仓项目的基本需求、整体架构。了解常用实施方案。能够编写Canal客户端采集binlog消息。理解google ProtoBuf序列化方式。理解Canal采集原理。实时计算应用场景及技术选型实时计算在公司的用处公司内已经采用MR与spark之类的技术，做离线阅读全文

posted @ 2022-04-19 23:22 CHANG_09 阅读(275) 评论(0) 推荐(0) 编辑

Canal 数据同步到 Kafka Canal 配置

摘要：原文：Canal 数据同步到 Kafka - 十色 - 博客园确定 bin-log 已开启，SQL： show variables like 'log_bin%';show variables like '%binlog_format%'; create database FlinkEtl;us 阅读全文

posted @ 2022-04-19 19:59 CHANG_09 阅读(377) 评论(0) 推荐(0) 编辑