摘要: 问题 在新增一个 mysql 同步到 es 的作业时. 发现数据消费包括消费的上游一切正常, 但是es中数据是空的. 检查canal-adapter 日志发现 有报错空指针如下: Caused by: java.lang.RuntimeException: java.lang.NullPointer 阅读全文
posted @ 2023-02-02 09:49 博文43231 阅读(889) 评论(0) 推荐(0) 编辑
摘要: 最近和朋友聊天, 聊到了程序员的职业规划的问题. 聊到了pmp这个东西,真的很是让我费解pmp无用论这一观点. 格局要大. 凡是复杂的技术组织活动,其实都需要管理。 客观上讲 当你考软考的架构师的时候,你会发现考试大纲中会涉及到项目管理的内容, 这也就是说明一个合格的架构师应该具备的技能里面是有项目 阅读全文
posted @ 2023-01-31 22:33 博文43231 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 以下出现的非专业大白话完全是个人为了方便记忆. 1. 命中注定(ServerID)选举法 生来就已经约定了谁当leader . 在项目启动前, 给每个项目做好编号. 我的代码因为是在本机启动5个服务模拟集群环境,所以用了端口号作为编号. 谁的端口号最大.谁就是leader,其他人是follower. 阅读全文
posted @ 2022-12-30 19:39 博文43231 阅读(23) 评论(0) 推荐(0) 编辑
摘要: // TODO 公司自用了。就不公开了 阅读全文
posted @ 2022-12-30 19:35 博文43231 阅读(11) 评论(0) 推荐(0) 编辑
摘要: canal 简单解释 中间一个kafka ,上游一个 生产者。下游一个消费者。 生产者负责监听读取 mysql 的binlog。然后发送record到kafka。 下游取record消费,并整合数据, 然后同步到 目标库中。 1. 创建topic 为什么要第一步创建topic,因为你先见生产者的时候 阅读全文
posted @ 2022-12-30 19:32 博文43231 阅读(122) 评论(0) 推荐(0) 编辑
摘要: ###懒得看文字的直看倒数后两行 完整报错 java.io.IOException: Received error packet: errno = 1236, sqlstate = HY000 errmsg = Could not find first log file name in binary 阅读全文
posted @ 2022-12-29 17:58 博文43231 阅读(1661) 评论(0) 推荐(0) 编辑
摘要: 理论 最近在看一些分布式方面的书籍. 关于分布式事务这个话题自己也是有一些感受和理解.将他写下来.供自己以后回首的时候,方便重拾记忆. 分布式 中有三个理论 ACID/CAP/BASE ,这几个单词真tm难记.只能用我自己无赖方法试着理解. 三个理论从开始到最后是一个由强到柔的过程. 可以在全局上分 阅读全文
posted @ 2022-12-28 20:50 博文43231 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 分布式锁 的思路发散 分布式锁. 可以理解为多客户端的抢夺同一互斥资源. 那问题可以理解为 解决互斥资源. 实现互斥资源的 三种思路 1. 调度者思路 把问题代入 现实生活中. 家里3个娃. 抢一台电视机. 此时要解决问题. 需要爸爸或者妈妈出面. 来进行协调. 爸爸 : 张一先看.张二再看. 张三 阅读全文
posted @ 2022-12-26 18:56 博文43231 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 不说那种建表的时候 设置好主键格式 的 解决方案. 事后诸葛啊. 谁都会不靠谱方案1 改主键表结构. 费时! 主键已经超长了.说明 数据量相当大. 改表结构的时间成本你能等得起吗方案2 超长表 改表名作为历史表 ,新建新表,然后根据业务情况将历史表数据酌情复制到新表中. (比如最近3个月的数据. 不 阅读全文
posted @ 2022-09-09 18:28 博文43231 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 公司电脑没有固态。磁盘io比较慢. 经常打满100% 1. 打开任务管理器发现是 一个叫system和DCFWinService的服务一直在占用磁盘读写 2. 解决方向. 禁用掉 这两个服务 system 需要禁用 Superfetch 服务。 在有些系统里面,比如我的 系统(win11)里面。 名 阅读全文
posted @ 2022-09-02 11:16 博文43231 阅读(2518) 评论(0) 推荐(0) 编辑