摘要: Flink-MysqCDC 大事务OOM问题分析与修复 一、背景: 系统刚上线,有些流程还未完全打通,需要通过人工修数的方式来确保业务运行;订单域和财务域都存在大量的人工修数,大伙干得热火朝天,夜深人静的时候,往往忽略了一些基本的准则,在生产环境发现有数据硬删+几十万的大事务更新操作; 这导致了Fl 阅读全文
posted @ 2022-02-28 15:37 _walden 阅读(2402) 评论(0) 推荐(0) 编辑
摘要: 一、背景 目前 yarn 集群 360 个FLink实时作业,90% 都是使用 flink1.13.3 + cdc2.1 ,在12月17号发现一个流任务:xxx_mysql_kafka 运行无异常,但是一直不往 Kafka 发送最新数据 二、问题排查 1、 根据该任务 application id 阅读全文
posted @ 2022-02-28 15:22 _walden 阅读(1629) 评论(0) 推荐(0) 编辑