该系统是一个采用Windows service + Microsoft Message Queue等技术实现的分布式系统,分发器以Message Queue的形式,把任务分发到对应的服务器上进行加工处理,处理完毕后的数据,再更新到Sql sever或MongoDB上。它的自动处理机制主要分为两种:一,根据配置好的日程安排,自动分配任务,处理数据;二,监听目标数据源的变化,分配相应的任务,下载并处理最新数据,回写数据库,这样保证了采集的数据的即时性。