datalink
1.概述
DataLink是一个满足各种异构数据源之间的实时增量同步、离线全量同步,分布式、可扩展的数据交换平台。
2.架构
在服务端会启动jetty和netty两个服务,jetty用于web服务接口,netty用于与worker的通信,实现负载均衡和分组管理,任务启动是通过任务管理向worker发送http请求,停止是直接修改状态到数据库有worker来监听数据库变更来完成任务状态的变更。
在worker端启动是会启动一个keeper,keeper会启动一个jetty服务,用于接收来自manager的请求,然后根据配置taskinfo来完成reader和writer的加载,然后通过workertask来完成任务的运行。