基于MQ的数据处理架构的实践

思路

我的需求是：做一个数据转换中心，但是数据格式各种各样，转换工具各种各样，有的是插件，有的是软件，格式转换耗时不可控可能几分钟。

我的思路是：server将转换任务简单包装，发送给MQ。Agent持续获取MQ中任务，然后按照既定的脚本或模板，调用worker进行具体转换。

需要注意的是：

1.要制定一个通用的任务脚本规范

2.Agent为了能调用各种类型的程序，本身结构也是不同意的，需要制定一套接口，使用C#、JAVA、ts共同实现

3. Agent调用worker使用什么技术，可以是http接口调用，可以是导入worker支持的自动化脚本，还可以是UIAutomation。

实践：