mysql 删除表中多余的重复记录

===============================================

 2019/7/16_第1次修改                       ccb_warlock

 

===============================================

接着上一个话题（https://www.cnblogs.com/straycats/p/11198340.html），做完了表结构和表内容的备份后，接着就需要删除数据。

然而在删除数据的过程中发现，存在多条相同的业务数据记录到了数据库中（表现为，除了索引字段，其他所有字段的内容完全一致）。这样就导致原本的线性增加趋势更明显，脏数据不仅浪费了空间，更影响了查询的效率。

故还是通过sql语句的处理还删除那些逻辑上重复的数据。

 

daily_t表结构如下：

字段名	描述
TID	索引id
USER_ID	用户id
STATS_DATE	日期

 

查看要删除的重复记录（在删除数据前先做查询确认范围）

SELECT *
FROM   daily_t
WHERE  (USER_ID, STATS_DATE) IN (
       SELECT *
       FROM   (SELECT   USER_ID, STATS_DATE
               FROM     daily_t
               GROUP BY USER_ID, STATS_DATE
               HAVING   count(*) > 1) A)
AND    TID NOT IN (
        SELECT *
        FROM   (SELECT   min(TID)
                FROM     daily_t
                GROUP BY USER_ID, STATS_DATE
                HAVING   count(*) > 1) B)
ORDER BY USER_ID, STATS_DATE;

 

删除重复的记录（只留有索引最小的记录）

DELETE
FROM   daily_t
WHERE  (USER_ID, STATS_DATE) IN (
       SELECT *
       FROM   (SELECT   USER_ID, STATS_DATE
               FROM     daily_t
               GROUP BY USER_ID, STATS_DATE
               HAVING   count(*) > 1) A)
AND    TID NOT IN (
        SELECT *
        FROM   (SELECT   min(TID)
                FROM     daily_t
                GROUP BY USER_ID, STATS_DATE
                HAVING   count(*) > 1) B);

 

PS.sql语句中之所以对子查询多嵌套了一层（select *）是为了规避mysql不支持在where中进行针对需要删除操作的表的子查询（1093-You can’t specify target table for update in FROM clause），因为多嵌套了一层（select *）后，子查询内操作的是两张临时表A、B，而不是daily_t。