摘要: 基于1.1.5-alpha版本,具体源码笔记可以参考我的github:https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的binlog订阅模块parser进行分析。 parser模块 阅读全文
posted @ 2020-08-24 14:17 阿丸 阅读(615) 评论(0) 推荐(0) 编辑
摘要: 基于1.1.5-alpha版本,具体源码笔记可以参考我的github:https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal instance模块比较简单,我们重点了解以下几个问题 instance配置模式 阅读全文
posted @ 2020-07-28 19:57 阿丸 阅读(488) 评论(0) 推荐(0) 编辑
摘要: 基于1.1.5-alpha版本,具体源码笔记可以参考我的github:https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的server模块进行分析,跟之前一样,我们带着几个问题来看源 阅读全文
posted @ 2020-07-20 09:16 阿丸 阅读(937) 评论(0) 推荐(0) 编辑
摘要: 基于1.1.5-alpha版本,具体源码笔记可以参考我的github:https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的启动模块deployer进行分析。 Deployer模块(绿 阅读全文
posted @ 2020-07-06 10:33 阿丸 阅读(1091) 评论(0) 推荐(2) 编辑
摘要: 在前面两篇中,我们从基本概念理解了canal是一个什么项目,能应用于什么场景,然后通过一个demo体验,有了基本的体感和认识。 从这一篇开始,我们将从源码入手,深入学习canal的实现方式。了解canal相关功能的实现方式,其中有很多机制是非常值得深入了解的,从代码实现角度去学习实时数据订阅与同步的 阅读全文
posted @ 2020-06-23 09:09 阿丸 阅读(1129) 评论(0) 推荐(0) 编辑
摘要: canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据 订阅 和 消费。应该是阿里云DTS(Data Transfer Service)的开源版本,开源地址:https://github.com/alibaba/canal。 canal从1 阅读全文
posted @ 2020-06-10 21:28 阿丸 阅读(4893) 评论(1) 推荐(3) 编辑
摘要: 1.简介 canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据 订阅 和 消费。应该是阿里云DTS(Data Transfer Service)的开源版本。 2.提供的能力 Canal与DTS提供的功能基本相似: 1)基于Mysql的Sl 阅读全文
posted @ 2020-06-04 21:43 阿丸 阅读(1406) 评论(0) 推荐(1) 编辑
摘要: 实时数据订阅与分发系统可以将业务数据源变更实时分发分发到消息总线上,并维护消息的统一格式,提供通用的客户端框架供消息生产者与下游业务接入。 一般能用于以下场景: 索引构建:MySQL到ES 缓存管理:MySQL到Redis或本地cache 数据库镜像 实时备份 价格变化等重要业务信息订阅 实时数据订 阅读全文
posted @ 2020-05-27 23:24 阿丸 阅读(2272) 评论(0) 推荐(0) 编辑
摘要: 本文主要介绍在压测HBase的二级索引phoenix时踩的一个坑,使用时需要特别注意,而且背后的原因也很有意思,可以看出HBase和Phoenix对元数据设计上的差异。 1.问题介绍 在做phoenix压测时发现一个奇怪的现象。 压测请求分布非常均匀,但是有一台机器的流量、负载都明显高于其他机器。 阅读全文
posted @ 2020-05-21 09:19 阿丸 阅读(1272) 评论(0) 推荐(0) 编辑
摘要: Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs对HBase数据进行增删改查,构建二级索引。当然,开源产品嘛,自然需要注意“避坑”啦,阿丸会把使用方式和最佳实践都告诉你。 1.什么是Phoenix Phoenix完全使用Java编写,将SQL查询转换为一个或多个H 阅读全文
posted @ 2020-05-18 14:00 阿丸 阅读(787) 评论(0) 推荐(0) 编辑