mangodata - 博客园

踩坑记 | Flink 天级别窗口中存在的时区问题

摘要： > 本系列每篇文章都是从一些实际的 case 出发，分析一些生产环境中经常会遇到的问题，抛砖引玉，以帮助小伙伴们解决一些实际问题。本文介绍 Flink 时间以及时区问题，分析了在天级别的窗口时会遇到的时区问题，如果对小伙伴有帮助的话，欢迎点赞 + 再看~本文主要分为两部分：第一部分（第 1 - 3 阅读全文

posted @ 2020-10-17 21:53 mangodata 阅读(1224) 评论(0) 推荐(0)

Tips | Flink 使用 union 代替 join、cogroup

摘要： Tips | Flink 使用 union 代替 join、cogroup 本系列每篇文章都比较短小，不定期更新，从一些实际的 case 出发抛砖引玉，提高小伙伴的姿♂势水平。本文介绍在满足原有需求、实现原有逻辑的场景下，在 Flink 中使用 union 代替 cogroup(或者join) ，简阅读全文

posted @ 2020-10-04 21:16 mangodata 阅读(518) 评论(0) 推荐(0)

Tips | Flink sink schema 字段设计小技巧

摘要： ❝ 本系列每篇文章都比较短小，不定期更新，从一些实际的 case 出发抛砖引玉，提高小伙伴的姿♂势水平。本文介绍 Flink sink schema 字段设计小技巧，阅读时长大概 2 分钟，话不多说，直接进入正文！ ❞ sink schema 中添加 version 版本字段如 title，直接上阅读全文

posted @ 2020-09-26 16:08 mangodata 阅读(159) 评论(0) 推荐(0)

踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑

摘要： ❝本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后，重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时，下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。❞ 本文分为以下几个部分：「1.本次踩坑的应用场景」「2.应用场景中发生的丢数故障分析」阅读全文

posted @ 2020-09-19 19:51 mangodata 阅读(614) 评论(0) 推荐(0)

导航

2020年10月17日

2020年10月4日

2020年9月26日

2020年9月19日