动态数据设计

DATA_FTP_T

解密FTP文件后存入

DATA_API1_T

解密API1上传的文件后存入

DATA_API2_T

解密API2上传的文件后存入

 

DATA_WAIT_CLEAN_T

当天DATA_FTP_T,DATA_API1_T,DATA_API2_T的数据按照关键字段去重后存入

 

DATA_TEMP_EXCU_T

清洗DATA_WAIT_CLEAN_T的数据正在清洗的数据存入临时表

DATA_TEMP_SUCC_T

清洗DATA_WAIT_CLEAN_T的数据完成后正确的数据存入临时表

DATA_TEMP_FAIL_T

清洗DATA_WAIT_CLEAN_T的数据完成后错误的数据存入临时表

 

DATA_DIST_T

定时将DATA_TEMP_SUCC_T的数据传输到记录表，用于统计当天符合的数据（仅仅保存当天清洗的数据，清洗的旧的数据不会记录）

DATA_TASK_T

定时将DATA_TEMP_SUCC_T的数据传输到目标数据表，用于分配任务数据

 

定时清理DATA_TASK_T无效的数据，插入重复清洗后符合的数据