mySql数据重复数据去重

1、问题来源:数据中由于并发问题,数据存在多次调用接口,插入了重复数据,需要根据多条件删除重复数据;

2、参考博客文章地址:https://www.cnblogs.com/jiangxiaobo/p/6589541.html

二、

1、删除数据之前,先要查找到重复的数据,有一张单位表,单位名称可以重复,但是在不同组织id下不能重复(多条件计数重复数据),统计一下重复的数据

根据条件进行数据统计,然后选出记录数大于1的记录,看一下哪些数据是重复的数据:

SELECT
    count( company_name ) countNum,
    company_name,
    org_id 
FROM
    company 
GROUP BY
    company_name,
    org_id 
HAVING
    countNum > 1 
ORDER BY
    countNum DESC

 查询结果

2、删除重复数据:根据数据查询出的条件筛选出重复数据的id,然后将id最小的排除掉,然后删除这些重复数据,中间由于数据库版本的问题,不能直接在查询表的数据删除数据

所以需要将查询的重复的记录作为一个子查询,起一个别名,然后再进行删除

delete from company WHERE id in (
SELECT t.id FROM (
select id 
FROM
    company a
WHERE
    (a.company_name, a.org_id) IN (
        SELECT
            company_name,
            org_id
        FROM
            company
        GROUP BY
            company_name,
            org_id
        HAVING
            count(*) > 1
    )
AND id NOT IN (
    SELECT
        min(id)
    FROM
        company
    GROUP BY
        company_name,
        org_id
    HAVING
        count(*) > 1
)) t)

 

posted @ 2019-06-18 17:06  李维维(levi)  阅读(11233)  评论(0编辑  收藏  举报