flink cdc 使用问题记录

  1.  flink 堆内存分配优化,调整堆内存相关参数
  2. flink slot个数调整,slot个数和cpu核数正相关
  3. 源端连接池连接数与并行度保持一致(底层子任务共享连接池)
  4. 目的端数据库连接释放逻辑优化,避免内存泄漏
  5. flink cdc debezium reader线程泄漏(任务执行完成后,线程阻塞未释放),官方后续版本解决
  6. flink cdc 解析binlog日志逻辑错误(update语句使用add方法添加记录,可能和快照语句重复,造成主键冲突异常),官方最新版本(flink cdc 2.2.1)已解决
  7. sink keyby 按表分区多线程并发窗口,同一张表sql合并(insert合并,update、delete操作单独执行),提高sql执行效率。
posted @   sahara-随笔  阅读(655)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
点击右上角即可分享
微信分享提示