摘要： Checkpoint 源码流程： Flink MiniCluster 启动流程 Flink CheckpointCoordinator 启动流程 Flink Checkpoint 流程 最近一段时间，在看 Flink Checkpoint 相关的源码，从 CheckpointCoordinator 阅读全文

摘要： 最近好些朋友问过我要 Flink 的学习资料，就把电脑上存的Flink 的文档书什么的都放到网盘，然后发出去了 对于初学者，拿着一堆资料是不知道从什么地方开始的学习的，我这个菜鸡也有很多没看（flink 线下 meetup ppt、Flink Forward ppt） 最好的文档，永远是官网文档，特 阅读全文

摘要： flink 消费 kafka 数据，提交消费组 offset 有三种类型 1、开启 checkpoint ： 在 checkpoint 完成后提交 2、开启 checkpoint，禁用 checkpoint 提交： 不提交消费组 offset 3、不开启 checkpoint： 依赖kafka cl 阅读全文

摘要： 月初的时候，Flink 终于发布 1.11.0 版本， CDC 的功能还是比较期待的（虽然比预期差很多） 当然是升级一波了 最新的代码已经上传到 GitHub ： https://github.com/springMoon/sqlSubmit 跑 sqlSubmit 的代码，随便来个 kafka t 阅读全文

摘要： 借用官网的一个例子： 假设存在一个序列，序列中的元素是具有不同颜色与形状的图形，我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对（比如在红色的图形里，有一个长方形跟着一个三角形）。 同时，我们希望寻找的模式也会随着时间而改变。 在这个例子中，我们定义两个流，一个流包含图形（Item），具 阅读全文

摘要： 经常会有这样的业务需求，需要对一个 stream 连续分区，比如： source .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) . 阅读全文

摘要： 在这里，我很荣幸的宣布，开源项目 flink sqlSubmit 1.0 发布了。👏👏👏 乘着这几天假，在家把很早就该完成的事情做了点，第一个就是把sqlSubmit 稍微修改了下，勉强发布1.0版本。 地址：https://github.com/springMoon/sqlSubmit/re 阅读全文

摘要： 更新说明 突然就想水一篇博客，刚好说明一下这段时间基本没有更新的问题。 简单介绍下我的职业生涯，大家有留意的话，可以在博客园上看到，我的博客是从2015年11月开始的，公众号则是去年才有的。 我15年毕业，就职某外企Java开发，17年进入某曾经很知名的公司做大数据离线（抬高一点，还负责离线报表的前 阅读全文

摘要： 从 Flink 1.9 SQL 功能可以稳定生产开始，就开始做 Flink SQL 相关的内容，到现在也有一段时间了，对 flink sql 还是有很多想法的，也有很多源码相关的内容一直想研究。 不过这段时间，工作上有些变动，所以很多时候都不想动弹（可能就是因为懒），所以这段时间更新频率越来越低了， 阅读全文

摘要： flink sql udf 只在启动的时候执行一次，调用的时候直接返回初始化的值，之后不再更新 一个返回当前时间的函数返回的结果是启动的时间，并且保持不变 阅读全文