动态数据设计
DATA_FTP_T
解密FTP文件后存入
DATA_API1_T
解密API1上传的文件后存入
DATA_API2_T
解密API2上传的文件后存入
DATA_WAIT_CLEAN_T
当天DATA_FTP_T,DATA_API1_T,DATA_API2_T的数据按照关键字段去重后存入
DATA_TEMP_EXCU_T
清洗DATA_WAIT_CLEAN_T的数据正在清洗的数据存入临时表
DATA_TEMP_SUCC_T
清洗DATA_WAIT_CLEAN_T的数据完成后正确的数据存入临时表
DATA_TEMP_FAIL_T
清洗DATA_WAIT_CLEAN_T的数据完成后错误的数据存入临时表
DATA_DIST_T
定时将DATA_TEMP_SUCC_T的数据传输到记录表,用于统计当天符合的数据(仅仅保存当天清洗的数据,清洗的旧的数据不会记录)
DATA_TASK_T
定时将DATA_TEMP_SUCC_T的数据传输到目标数据表,用于分配任务数据
定时清理DATA_TASK_T无效的数据,插入重复清洗后符合的数据