摘要: 背景 最近在维护的一款数据产品,有一个数据推送功能,就是把数据从A数据源同步到B数据源。通过SQL指定A数据源里面的数据表,和字段。 前面有SQL编辑框,可以提交语法无误的SQL。上面截图中的字段,表示期望推送到下游数据源的字段。左侧提供一个自动生成字段的功能,当然,右侧提供一个控件,支持用户手动输 阅读全文
posted @ 2022-06-03 16:34 johnny233 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 背景 在做数据推送功能遇到的一个问题。具体来说,通过SQL查询语句,将Impala中100多万条数据写入到MongoDB时报错。大致的报错信息如下: java.lang.Exception: org.springframework.dao.DuplicateKeyException: Bulk wr 阅读全文
posted @ 2022-06-03 13:33 johnny233 阅读(107) 评论(0) 推荐(0) 编辑