摘要:
flink 实时计算留存率,flink stream api,窗口,水印 阅读全文
摘要:
本文参考康琪大佬的博客:使Flink SQL Kafka Source支持独立设置并行度 一直觉得 Flink Sql 需要指定算子并行度的功能,哪怕是基于 SQL 解析出来的算子不能添加并行度,source、sink、join 的算子也应该有修改并行度的功能。 恰好看到大佬的博客,Kafka 是最 阅读全文
摘要:
flink 读写 iceberg,upsert 阅读全文
摘要:
flink 关联 hbase 表非主键 阅读全文
摘要:
flink 实现自定义 mysql lookup source 阅读全文
摘要:
自定义Flink http table source 阅读全文
摘要:
Hbase 作为 Hadoop 全家桶中,非常重要的存储组件,适用于海量数据的随机查询,使用是非常广泛的。 实时数仓项目使用 Kafka 作为数仓的基础表,我们也会把 Kafka 的数据往 Hbase 写一份,方便其他场景使用,比如:做维表 Flink Hbase 表默认使用 TableScan 一 阅读全文
摘要:
flink CUMULATE 窗口 阅读全文
摘要:
数仓场景下,经常有两个表 Join 后往一个宽表写数据。比如:埋点数据中只包含 user_id,但是下游计算的需要使用用户的其他属性,就需要将埋点数据和用户数据做关联。 实时场景,需要做流表 Join,用埋点数据的 user_id 去全量用户表中取用户属性。 如果两部分数据产生的顺序不确定,可能先生 阅读全文
摘要:
一个同学在群里问的这个问题,刚好好久没写过window 的sql了,玩一玩 手上没有环境,一起从简了 使用 datagen 生成数据,id 随机生成,最小值 输出直接到 console 窗口 -- flink window tvf calc pv&uv create table if not exi 阅读全文