03 2021 档案
【源码】Flink sql 流式去重源码解析
摘要:本文基于 flink 1.12.0 之前尝试了一下 flink sql 的 去重和Top n 功能,只是简单的看了下官网,然后用 sql 实现了功能,但是还有些疑问没有解决。比如:不使用 mini-batch 模式,去重的结果很单一,降序就只输出第一条数据(升序就一直输出最后一条) 为了解决这些疑问 阅读全文
posted @ 2021-03-17 21:12 Flink菜鸟 阅读(1857) 评论(0) 推荐(1)
Flink sql 流式去重
摘要:在大数据的处理过程中会出现很多汇总类指标的计算,比如计算当日的每个类目下的用户的订单信息,就需要按类目分组,对用户做去重。Flink sql 提供了 “去重” 功能,可以在流模式的任务中做去重操作。 官网文档 去重 官网链接: [去重](https://ci.apache.org/projects/ 阅读全文
posted @ 2021-03-09 17:08 Flink菜鸟 阅读(3839) 评论(0) 推荐(1)