摘要: flink运行作业会存在很多脏数据,抛异常会导致作业挂掉,可以捕获异常,添加metric发出告警让用户看是否需要处理。本文主要针对source为kafka进行处理。 阅读全文
posted @ 2020-12-23 23:50 楠鸽 阅读(392) 评论(0) 推荐(0) 编辑
摘要: 方便前后端甩锅还能拿出证据 阅读全文
posted @ 2020-11-18 19:41 楠鸽 阅读(92) 评论(0) 推荐(0) 编辑
摘要: Flink State Time-To-Live (TTL) 阅读全文
posted @ 2020-11-11 23:34 楠鸽 阅读(362) 评论(0) 推荐(0) 编辑
摘要: 在软件中,模式是帮助人类向“变化”战斗,但是在软件中还需要和“变化”直接面对面战斗的武器:人的思维,特别是创造,分析思维等等,这些是软件真正的灵魂,这种思维可以说只要有实践需求(如有新项目)就要求发生,发生频度高,人类的创造或者分析思维决定了软件的质量合和特点 阅读全文
posted @ 2020-11-08 21:02 楠鸽 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 记录@CollectionTable建表中遇到的问题。在本地环境可正常创建,可部署到生产环境就GG了。使用的存储引擎不一样? 阅读全文
posted @ 2020-11-08 20:59 楠鸽 阅读(1745) 评论(0) 推荐(0) 编辑
摘要: Java 中引用的对象越来越多,会导致内存空间不足,最终会产生错误 OutOfMemoryError,并让应用程序终止。那为什么 GC 在此时不能多收集一些对象呢?这就和今天说的引用类型有关了。从 JDK1.2 开始,对象的引用被划分为4种级别,从而使程序能更加灵活地控制对象的生命周期。这4种级别由高到低依次为:强引用、软引用、弱引用和虚引用。 阅读全文
posted @ 2020-11-08 20:53 楠鸽 阅读(272) 评论(0) 推荐(0) 编辑
摘要: 在面试环节中,考察"ThreadLocal"也是面试官的家常便饭,所以对它理解透彻,是非常有必要的。 阅读全文
posted @ 2020-11-08 20:51 楠鸽 阅读(150) 评论(0) 推荐(0) 编辑
摘要: Flink 1.11 Table API 实现kafka到mysql 阅读全文
posted @ 2020-11-08 13:00 楠鸽 阅读(927) 评论(0) 推荐(0) 编辑
摘要: 本文将基于 Kafka, MySQL, Elasticsearch, Kibana,使用 Flink SQL 构建一个电商用户行为的实时分析应用。 阅读全文
posted @ 2020-10-31 12:56 楠鸽 阅读(393) 评论(0) 推荐(0) 编辑
摘要: Flink 1.11源码编译 阅读全文
posted @ 2020-10-30 22:09 楠鸽 阅读(213) 评论(0) 推荐(0) 编辑