随笔分类 -  Canal

Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter
摘要：前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章：【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件： vi /usr/loc 阅读全文

posted @ 2020-07-15 11:19 曹伟雄 阅读(3796) 评论(0) 推荐(0) 编辑

Canal——高可用架构设计与应用
摘要：前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se 阅读全文

posted @ 2020-07-15 11:18 曹伟雄 阅读(5099) 评论(0) 推荐(2) 编辑

Prometheus + Grafana（十四）系统监控之Canal
摘要：1.安装部署Prometheus 安装参考：https://www.cnblogs.com/caoweixiong/p/12111035.html 配置prometheus.yml，添加canal的job，示例： - job_name: 'canal' static_configs: - targe 阅读全文

posted @ 2019-12-28 12:17 曹伟雄 阅读(2575) 评论(0) 推荐(0) 编辑

Canal——Canal-Adapter源码在IDEA部署运行
摘要：一、下载源码 下载地址：https://github.com/alibaba/canal 我这里用的是canal-1.1.4版本 源码结构 client-adapter项目就是本次要部署运行的 源码导入到IDEA中的结构如下： 二、安装配置 找到manven模块中有root的那个模块，然后点击ins 阅读全文

posted @ 2019-11-30 10:45 曹伟雄 阅读(4875) 评论(2) 推荐(3) 编辑

Canal——写入到ES中数据错乱
摘要：问题描述 使用canal-adapter写入elasticSearch数据时，数据是写入了elasticSearch了，但出现了mysql表中的数据和elasticSearch中索引中的数据错乱的问题，即把A列的数据放到了B列中的。 研究了半天，发现是因为我在测试过程中，换过另外1个数据库，这2个库 阅读全文

posted @ 2019-11-22 17:06 曹伟雄 阅读(1580) 评论(0) 推荐(0) 编辑

Canal——增量同步MySQL数据到ElasticSearch
摘要：前言 本篇只介绍 TCP模式 下详细的canal相关配置。 高可用 请参考文章：【Canal——高可用架构设计与应用】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 1.准备 1.1.组件 JDK： 阅读全文

posted @ 2019-11-09 13:00 曹伟雄 阅读(27587) 评论(6) 推荐(4) 编辑

Canal——原理架构及应用场景
摘要：Canal简介 Canal是阿里开源的一款基于Mysql数据库binlog的增量订阅和消费组件，通过它可以订阅数据库的binlog日志，然后进行一些数据消费，如数据镜像、数据异构、数据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有序化和一致性。 github地址：https://gi 阅读全文

posted @ 2019-11-09 10:22 曹伟雄 阅读(18355) 评论(0) 推荐(3) 编辑

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示