2020年6月20日
Flink 实现 双流Join
摘要： 需求 将五分钟之内的订单信息和支付信息进行对账，对不上的发出警告 代码实现 import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.flink.api.scala.ty 阅读全文
posted @ 2020-06-20 21:58 可以看看你胖次吗 阅读(1774) 评论(1) 推荐(1) 编辑
Flink 用布隆过滤器来实现UV统计
摘要： 需求 查询一个小时之内的用户访问量（一个用户算一个） 难点：如果用户量很多，要想用Set等数据结构实现去重不太现实，随时都会OOM，这时就得利用布隆过滤器，先判断user是否存在，不存在则计数+1，存在则不做计算，这样能节省大量的内存空间 利用Flink官方实现的布隆过滤器来实现 package p 阅读全文
posted @ 2020-06-20 21:49 可以看看你胖次吗 阅读(3429) 评论(0) 推荐(1) 编辑
Flink 实现 实时TOPN 需求
摘要： 需求 求每个小时内用户点击量的TOP3，每五分钟更新一次 bean： 利用底层API实现 import java.sql.Timestamp import org.apache.flink.api.common.functions.AggregateFunction import org.apach 阅读全文
posted @ 2020-06-20 21:04 可以看看你胖次吗 阅读(1270) 评论(0) 推荐(1) 编辑
Live2D