12 2019 档案
摘要:flink会把数据分成不同的窗口,然后进行汇总和统计。 flink的窗口分为timeWindow, countWindow, sessionWindow, gapWindow。 timeWindow分为基于时间的滚动窗口和滑动窗口。 举个例子,统计每60秒的访问量需要的就是滚动窗口;每5分钟统计一次
阅读全文
摘要:topN功能是一个非常常见的功能,比如查看最近几分钟的阅读最高数,购买最高数。 flink实现topN的功能也非常方便,下面就开始构建一个flink topN的程序。 还是像上篇博客一样,从kafka读取数据,然后进行计算和数据转换,最后sink到mysql中。 假设有个需求,实现一个统计每5分钟最
阅读全文
摘要:最近flink已经变得比较流行了,所以大家要了解flink并且使用flink。现在最流行的实时计算应该就是flink了,它具有了流计算和批处理功能。它可以处理有界数据和无界数据,也就是可以处理永远生产的数据。具体的细节我们不讨论,我们直接搭建一个flink功能。总体的思路是source -> tra
阅读全文