Flink 容错机制 保存点和检查点
摘要：Flink检查点常用配置： //配置检查点 env.enableCheckpointing(180000); // 开启checkpoint 每180000ms 一次 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(50000);//
阅读全文
posted @ 2023-07-26 19:03
随笔分类 - Flink
Flink保留savepoint，并从savepoint启动示例
摘要：FLink1.16版本，基于Yarn集群示例： 1、启动示例： ../bin/flink run -t yarn-per-job -Dyarn.application.queue="default" -c org.apache.flink.base.basedoit._23_State_Operat
阅读全文
posted @ 2023-06-01 13:53
flink 指定时间消费kafka
摘要：如果消费位置不准确了，或者checkpoint/savepoint损坏无法恢复，可以直接在Flink中方便指定消费者位置； 如下示例直接指定消费的时间戳即可。（Flink Sql好像还不支持，需要单独写UDF实现） 参考： flink 根据时间消费kafka
阅读全文
posted @ 2022-04-01 15:51
Flink实时计算-- Checkpoint和Savepoint 区别与理解
摘要：1. 什么是Savepoint和Checkpoint Savepoint 是一项可让我们为整个流应用程序生成”某个时间”点快照的能力。快照包含有关您输入源的位置信息，以及数据源读取到的偏移量信息以及整个应用程序状态信息。 我们可以使用 Chandy-Lamport 算法的变体在不停止应用程序的情况下
阅读全文
posted @ 2022-03-30 18:55
Flink 算子：union和connect
摘要：参考： Flink算子使用方法及实例演示：union和connect
阅读全文
posted @ 2022-03-18 10:41
Flink双流及多流Join 、IntervalJoin、coGroupJoin的区别与生产使用（源码详解）
摘要：参考： Flink双流及多流Join 、IntervalJoin、coGroupJoin的区别与生产使用
阅读全文
posted @ 2022-03-15 15:03
Flink消费Kafka数据时指定offset的五种方式
摘要：Flink消费Kafka数据时指定offset的五种方式
阅读全文
posted @ 2022-03-02 10:55
Flink CDC 2.0 正式发布，详解核心改进
摘要：Flink CDC 2.0 正式发布，详解核心改进 主要针对一下Flink CDC 1.x 以下痛点做了改变： Flink CDC 1.x 可以不加锁，能够满足大部分场景，但牺牲了一定的数据准确性。Flink CDC 1.x 默认加全局锁，虽然能保证数据一致性，但存在上述 hang 住数据的风险。
阅读全文
posted @ 2021-09-13 17:21
实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践
摘要：实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践
阅读全文
posted @ 2021-07-06 18:47
Flink Metrics监控
摘要：Flink Metrics监控参考： Flink Metrics监控与 RestApi https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/ops/metrics.html
阅读全文
posted @ 2021-06-29 15:14
Flink SQL CDC中如何定义watermark和计算列
摘要：官网示例： -- use the existing TIMESTAMP(3) field in schema as the rowtime attribute CREATE TABLE MyTable ( ts_field TIMESTAMP(3), WATERMARK FOR ts_field A
阅读全文
posted @ 2021-06-25 18:02
流计算 Oceanus SQL 开发指南
摘要：流计算 Oceanus SQL 开发指南
阅读全文
posted @ 2021-06-18 10:18
Flink SQL web平台搭建
摘要：待续。。。 参考： https://github.com/zhp8341/flink-streaming-platform-web 或者zeppeline
阅读全文
posted @ 2021-06-16 16:15
Flink SQL窗口函数详解
摘要：参考： https://segmentfault.com/a/1190000023296719 首页 > 实时计算Flink版 > Blink独享/共享集群（原产品线） > Flink SQL参考 > 窗口函数 >
阅读全文
posted @ 2021-06-01 16:51
Flink——Side Output侧输出流
摘要：Flink——Side Output侧输出流
阅读全文
posted @ 2021-05-31 10:27
Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'
摘要：Flink启动报错日志如下： Caused by: java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to '
阅读全文
posted @ 2021-05-24 15:16
Linux解决 -bash: nc: command not found问题
摘要：[hadoop@hadoop001 conf]$ nc -lk 9999 -bash: nc: command not found 从提示信息中我们可以知道，是由于nc命令无法被找到没有配置nc的命令解决：[root@hadoop001 ~]# yum install -y nc Linux解决 -
阅读全文
posted @ 2021-05-24 11:21
