摘要: 使用的是PostgreSQL 在做大数据量(十万级)导入时,某些字段和数据库表里数据(千万级)重复的需要排除掉,把表数据查询出来用程序的方式判断去重效率很低,于是考虑用临时表。 先把新数据插入到临时表里,临时表结构和原始表一致。 用SQL的方式把不重复的数据DataA查询出来。 把DataA插入到原 阅读全文
posted @ 2024-08-16 17:52 凡人编程传(Java) 阅读(636) 评论(2) 推荐(4) 编辑