修心而结网

摘要： what： mysql中binglog使用statement模式会出现，数据同步时：主从数据不一致问题。 why： 主要原因有两个： 1、记录的sql上下文不全，例如：下面例子的RC场景； 2、mysql版本迭代，新功能加入，导致不同版本之间的能力不同，从而导致数据不一致。例如：sleep函数在老版 阅读全文

摘要： binglog支持三种模式（row、statement、mixed） when： 三种模式出现的顺序： statement->row( 5.1.5 版本)->mixed(5.1.8 版本) 具体： 从官方文档中看到，之前的 MySQL 一直都只有基于 statement 的复制模式，直到 5.1.5 阅读全文

摘要： 数据来源：https://blog.csdn.net/zhaocuit/article/details/106588758 flink架构Job Managers（master）：作业管理器，负责任务安排、协调检查点、协调故障恢复等Task Managers（worker）：任务管理器，接收mast 阅读全文

摘要： 资源来源：https://blog.csdn.net/u013939918/article/details/107068531/ namespace 维护每个subtask的状态 上面Flink原理与实现的文章中，有引用word count的例子，但是都没有包含状态管理。也就是说，如果一个task在 阅读全文

摘要： 数据产生时是有序的，但是考虑到网络延迟，它们到达Flink时，有可能时乱序的，先发生的事件延时到达。为了解决事件延时到达（或者说减少延时数据对计算结果的影响），有了watermark机制。 watermark有个参数允许延迟时间，举例：窗口大小=10s，允许延迟时间=5s。 当事件时间>=10:08 阅读全文

摘要： 来源：https://blog.csdn.net/k_wzzc/article/details/90582507 Flink学习笔记：时间与窗口1. 时间在flink中定义了三类时间： 事件时间（Event Time）：即事件实际发生的时间。处理时间（Processing Time）：事件被处理的时 阅读全文

摘要： 来源：https://zhuanlan.zhihu.com/p/79526638 前言 为了保证程序的容错恢复以及程序启动时其状态恢复，几乎所有公司的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。为了使得用户更加理解这两点区别，本文结合 Flink 1.9 版本 阅读全文

摘要： 参考文档： https://www.jianshu.com/p/a036405f989c 内容： leader 选举 和 follower 信息同步 如上图所示，kafaka集群的 broker，和 Consumer 都需要连接 Zookeeper。 Producer 直接连接 Broker。 Pr 阅读全文

摘要： 相关文档： https://blog.csdn.net/weixin_39897267/article/details/111299278 https://www.cnblogs.com/feipeng8848/p/10470655.html docker中软件镜像的安装： docker pull 阅读全文

摘要： what： 栅栏是指在原生代码片段中，某些语句执行前，栅栏代码也会执行。 G1主要是在写前栅栏（pre-write barrier）和写后（post-write barrier）。事实上，写栅栏的指令序列开销非常昂贵，应用吞吐量也会根据栅栏复杂度而降低。 pre-write barrier：在执行赋 阅读全文