RICH-ATONE

随笔分类 -  Flink

1 2 下一页

Flink 容错机制 保存点和检查点
摘要:Flink检查点常用配置: //配置检查点 env.enableCheckpointing(180000); // 开启checkpoint 每180000ms 一次 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(50000);// 阅读全文

posted @ 2023-07-26 19:03 RICH-ATONE 阅读(205) 评论(0) 推荐(0)

Flink保留savepoint,并从savepoint启动示例
摘要:FLink1.16版本,基于Yarn集群示例: 1、启动示例: ../bin/flink run -t yarn-per-job -Dyarn.application.queue="default" -c org.apache.flink.base.basedoit._23_State_Operat 阅读全文

posted @ 2023-06-01 13:53 RICH-ATONE 阅读(800) 评论(0) 推荐(0)

Flink实时数仓
摘要:Flink实时数仓 阅读全文

posted @ 2022-07-20 14:22 RICH-ATONE 阅读(106) 评论(0) 推荐(0)

flink 指定时间消费kafka
摘要:如果消费位置不准确了,或者checkpoint/savepoint损坏无法恢复,可以直接在Flink中方便指定消费者位置; 如下示例直接指定消费的时间戳即可。(Flink Sql好像还不支持,需要单独写UDF实现) 参考: flink 根据时间消费kafka 阅读全文

posted @ 2022-04-01 15:51 RICH-ATONE 阅读(738) 评论(0) 推荐(0)

Flink实时计算-- Checkpoint和Savepoint 区别与理解
摘要:1. 什么是Savepoint和Checkpoint Savepoint 是一项可让我们为整个流应用程序生成”某个时间”点快照的能力。快照包含有关您输入源的位置信息,以及数据源读取到的偏移量信息以及整个应用程序状态信息。 我们可以使用 Chandy-Lamport 算法的变体在不停止应用程序的情况下 阅读全文

posted @ 2022-03-30 18:55 RICH-ATONE 阅读(630) 评论(0) 推荐(0)

Flink 算子:union和connect
摘要:参考: Flink算子使用方法及实例演示:union和connect 阅读全文

posted @ 2022-03-18 10:41 RICH-ATONE 阅读(147) 评论(0) 推荐(0)

Flink双流及多流Join 、IntervalJoin、coGroupJoin的区别与生产使用(源码详解)
摘要:参考: Flink双流及多流Join 、IntervalJoin、coGroupJoin的区别与生产使用 阅读全文

posted @ 2022-03-15 15:03 RICH-ATONE 阅读(220) 评论(0) 推荐(0)

Flink消费Kafka数据时指定offset的五种方式
摘要:Flink消费Kafka数据时指定offset的五种方式 阅读全文

posted @ 2022-03-02 10:55 RICH-ATONE 阅读(262) 评论(0) 推荐(0)

Flink CDC 2.0 正式发布,详解核心改进
摘要:Flink CDC 2.0 正式发布,详解核心改进 主要针对一下Flink CDC 1.x 以下痛点做了改变: Flink CDC 1.x 可以不加锁,能够满足大部分场景,但牺牲了一定的数据准确性。Flink CDC 1.x 默认加全局锁,虽然能保证数据一致性,但存在上述 hang 住数据的风险。 阅读全文

posted @ 2021-09-13 17:21 RICH-ATONE 阅读(544) 评论(0) 推荐(0)

实时计算 Flink 版 + Hologres,亿级用户实时 UV 精确去重最佳实践
摘要:实时计算 Flink 版 + Hologres,亿级用户实时 UV 精确去重最佳实践 阅读全文

posted @ 2021-07-06 18:47 RICH-ATONE 阅读(154) 评论(0) 推荐(0)

Flink Metrics监控
摘要:Flink Metrics监控参考: Flink Metrics监控与 RestApi https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/ops/metrics.html 阅读全文

posted @ 2021-06-29 15:14 RICH-ATONE 阅读(149) 评论(0) 推荐(0)

Flink SQL CDC中如何定义watermark和计算列
摘要:官网示例: -- use the existing TIMESTAMP(3) field in schema as the rowtime attribute CREATE TABLE MyTable ( ts_field TIMESTAMP(3), WATERMARK FOR ts_field A 阅读全文

posted @ 2021-06-25 18:02 RICH-ATONE 阅读(1332) 评论(0) 推荐(1)

流计算 Oceanus SQL 开发指南
摘要:流计算 Oceanus SQL 开发指南 阅读全文

posted @ 2021-06-18 10:18 RICH-ATONE 阅读(117) 评论(0) 推荐(0)

Flink SQL web平台搭建
摘要:待续。。。 参考: https://github.com/zhp8341/flink-streaming-platform-web 或者zeppeline 阅读全文

posted @ 2021-06-16 16:15 RICH-ATONE 阅读(589) 评论(0) 推荐(0)

Flink SQL窗口函数详解
摘要:参考: https://segmentfault.com/a/1190000023296719 首页 > 实时计算Flink版 > Blink独享/共享集群(原产品线) > Flink SQL参考 > 窗口函数 > 阅读全文

posted @ 2021-06-01 16:51 RICH-ATONE 阅读(844) 评论(0) 推荐(0)

Flink——Side Output侧输出流
摘要:Flink——Side Output侧输出流 阅读全文

posted @ 2021-05-31 10:27 RICH-ATONE 阅读(159) 评论(0) 推荐(0)

Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to 'ProcessingTime', or did you forget to call 'DataStream.assignTimestampsAndWatermarks(...)'
摘要:Flink启动报错日志如下: Caused by: java.lang.RuntimeException: Record has Long.MIN_VALUE timestamp (= no timestamp marker). Is the time characteristic set to ' 阅读全文

posted @ 2021-05-24 15:16 RICH-ATONE 阅读(4220) 评论(0) 推荐(0)

Linux解决 -bash: nc: command not found问题
摘要:[hadoop@hadoop001 conf]$ nc -lk 9999 -bash: nc: command not found 从提示信息中我们可以知道,是由于nc命令无法被找到没有配置nc的命令解决:[root@hadoop001 ~]# yum install -y nc Linux解决 - 阅读全文

posted @ 2021-05-24 11:21 RICH-ATONE 阅读(1196) 评论(0) 推荐(0)

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
摘要:Flink On Yarn模式启动报错: [root@hadoop01 flink-1.12.0]# bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d -s 2 Error: A JNI error has occurred, please check yo 阅读全文

posted @ 2021-05-23 13:02 RICH-ATONE 阅读(1339) 评论(0) 推荐(1)

flink配置参数
摘要:https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/config.html 阅读全文

posted @ 2021-05-21 18:12 RICH-ATONE 阅读(219) 评论(0) 推荐(0)

1 2 下一页

导航