摘要:
1. 状态一致性 当在分布式系统中引入状态时,自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法,也就是说在成功处理故障并恢复之后得到的结果,与没有发生任何故障时得到的结果相比,前者到底有多 正确?举例来说,假设要对最近一小时登录的用户计数。在系统经历故障之后,计数结果是多少?如果有偏 阅读全文
摘要:
一致性检查点(checkpoint) 从检查点恢复状态 Flink检查点算法 保存点(save point) 1. 一致性检查点(checkpoint) Flink--有状态的流式处理 如上图sum_even (2+4),sum_odd(1 + 3 + 5),5这个数据之前的都处理完了,就出保存一个 阅读全文
摘要:
窗口的第一个时间窗口是如何定义的呢?查看源码: 滑动窗口: 这里的offset是用来指定时间戳的时区的,timestamp(1970年1月1号的毫秒数,默认是格林威治0时区的时间),北京时间是东八区,我们的时间比他们早8h,如果要跟他们标准时间统一的话offset应该是 -8;但在国内无所谓的,默认 阅读全文