李志涛

摘要： 背景介绍 DP数据同步产品，在客户环境长期运行过程中，发现runtime主要存在以下2类问题： 当前架构下，worker集群管理依赖kafka，同时kafka也会承担数据缓存职责，这二项工作存在相互影响导致worker集群不稳定 worker节点工作负载不均衡 为了解决上述的问题，需要重构现有的架构 阅读全文

摘要： 背景 现有原生kafka connect runtime，在客户环境运行遇到诸多问题，问题列表如下： 强依赖Kafka集群做任务分配、connector配置信息、connector状态管理、source进度维护等等 当遇到数据量大、并行数多，topic数量较多时，可能引发kakfa集群的不稳定包括( 阅读全文

摘要： 背景 xxx数据同步产品，在客户环境长期运行过程中，发现runtime主要存在以下问题• 当前架构下，worker集群管理依赖kafka，kafka同时承担任务分配协调和数据缓冲二项职责，当Kafka作为数据缓存不稳定，这二项工作相互干扰导致worker集群不稳定 解决方案 • 为了解决上述的问题， 阅读全文