摘要: 上篇文章我们讲到对账系统收集数据的流程,下面我们再来讲下数据核对的流程。 这里再放一下支付对账系统整个流程,忘记的同学可以看这个图片再回忆一下。 数据导入DP 在 DP 核对之前,我们需要将对账系统收集的数据,从 MySQL 导入 DP Hive 表中。 DP 任务调度开始,DP 平台定时检测对账系 阅读全文
posted @ 2022-01-16 14:57 楼下小黑哥 阅读(1255) 评论(0) 推荐(0) 编辑
摘要: 上篇文章聊到了对账系统业务逻辑以及千万数据集对账系统存在的难点,这篇文章就来聊下千万级数据集下对账系统实现方案。 首先我们先来看下对账整体时序图,先有个印象: 下面整篇文章将会围绕上面时序图开始讲解,由于文章篇幅过长,所以文章将会拆分成上下两部分。 数据平台 上次文章中提到,千万级数据需要使用 Hi 阅读全文
posted @ 2022-01-16 14:53 楼下小黑哥 阅读(2746) 评论(1) 推荐(2) 编辑