会员
周边
捐助
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
凡人编程传(Java)
博客园
首页
新随笔
联系
订阅
管理
2024年8月16日
10W数据导入该如何与库中数据去重?
摘要: 使用的是PostgreSQL 在做大数据量(十万级)导入时,某些字段和数据库表里数据(千万级)重复的需要排除掉,把表数据查询出来用程序的方式判断去重效率很低,于是考虑用临时表。 先把新数据插入到临时表里,临时表结构和原始表一致。 用SQL的方式把不重复的数据DataA查询出来。 把DataA插入到原
阅读全文
posted @ 2024-08-16 17:52 凡人编程传(Java)
阅读(636)
评论(2)
推荐(4)
编辑
公告