随笔分类 - 大数据
摘要：Flink 中可以使用一套 API 完成对有界数据集以及无界数据的统一处理，而无界数据集的处理一般会伴随着对某些固定时间间隔的数据聚合处理。比如：每五分钟统计一次系统活跃用户、每十秒更新热搜榜单等等 这些需求在 Flink 中都由 Window 提供支持，Window 本质上就是借助状态后端缓存着一
阅读全文
摘要：Flink 作为有状态计算的流批一体分布式计算引擎，会在运行过程中保存很多的「状态」数据，并依赖这些数据完成任务的 Failover 以及任务的重启恢复。 那么，请思考一个问题：如果程序升级迭代调整了这些「状态」的数据结构以及类型，Flink 能不能从旧的「状态」文件（一般就是 Savepoint
阅读全文
摘要：Flink 作为新一代基于事件流的、真正意义上的流批一体的大数据处理引擎，正在逐渐得到广大开发者们的青睐。就从我自身的视角看，最近也是在数据团队把一些原本由 Flume、SparkStreaming、Storm 编写的流式作业往 Flink 迁移，它们之间的优劣对比本篇暂不讨论。 近期会总结一些 F
阅读全文
