会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
随梦远航,不惧风浪
人生就是一场没有止境的旅行,学着不要让自己的旅行迷失了方向。
博客园
首页
新随笔
联系
订阅
管理
2021年11月6日
Mysql删除重复的数据
摘要: 最近在做一个多线程的爬虫程序,由于队列中有重复的数据,尽管程序中有判断不存在则插入,但由于多个线程并发,导致数据库中存在部分重复的数据。 程序中的bug已经修复,但重新爬一遍耗时耗力,于是就选择删除重复的数据,只保留一条有效数据 解决的思路就是根据确定其数据唯一的聚合字段进行分组,然后只保留一条有效
阅读全文
posted @ 2021-11-06 11:12 hello-*-world
阅读(1809)
评论(0)
推荐(0)
编辑
公告