随笔分类 - Flink
摘要:https://mp.weixin.qq.com/s?__biz=MzIzNzI5Mzc0OQ==&mid=2247485858&idx=1&sn=0418ce9a8eaf907c7cc5b644a5cb9e35&chksm=e8cb9078dfbc196ea17a7ce9d043c2a9ff749
阅读全文
摘要:https://mp.weixin.qq.com/s?__biz=MzIzNzI5Mzc0OQ==&mid=2247485868&idx=1&sn=ec9142697f493c99f4b1df8c04af17b9&chksm=e8cb9076dfbc1960ed81b281cdd3eeb3ad84f
阅读全文
摘要:在Flink中,有两种类型的并行度:算子并行度(Operator Parallelism)和全局并行度(Global Parallelism)。 算子并行度(Operator Parallelism): 算子并行度指的是每个算子实例的并行度。在Flink中,每个算子(例如map、filter等)都可
阅读全文
摘要:https://blog.csdn.net/qq_24095055/article/details/124518516
阅读全文
摘要:https://www.jianshu.com/p/02d6d1103746
阅读全文
摘要:https://blog.csdn.net/weixin_39592789/article/details/111230218
阅读全文
摘要:1、Flink如何保证端到端的一致性? source端支持数据回放? 内部一致性通过checkPoint保证? sink端支持幂等写入,或者利用flink的事务写 https://juejin.cn/post/6844904070260457480
阅读全文
摘要:https://zhuanlan.zhihu.com/p/165910220 在使用eventTime的时候如何处理乱序数据?我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但
阅读全文
摘要:1、状态 Flink内置的很多算子,数据源source,数据存储sink都是有状态的,流中的数据都是buffer records,会保存一定的元素或者元数据。例如: ProcessWindowFunction会缓存输入流的数据,ProcessFunction会保存设置的定时器信息等等。 在Flink
阅读全文
摘要:https://zhuanlan.zhihu.com/p/104601440 Flink分布式快照流程 首先我们来看一下一个简单的Checkpoint的大致流程: 暂停处理新流入数据,将新数据缓存起来。 将算子子任务的本地状态数据拷贝到一个远程的持久化存储上。 继续处理新流入的数据,包括刚才缓存起来
阅读全文