存储优化 - 删除重复记录只保留单条

主要使用姜敏的介绍的方法 http://www.cnblogs.com/levinlee/archive/2010/03/18/1688580.html

版本1

DELETE FROM TB_Test WHERE ID NOT IN
(
SELECT MIN(ID ) AS MinID FROM dbo.TB_Test AS tt GROUP BY CustomInfo
)

 

但前提是这个ID要设计之初存在

 

没有也没关系，可以手动加上。用完再删除。

 

 

方法2

 

 版本二：充分利用SQL05的几个比较实用的特性。这里先简单说说要用到的几个特性。详细用法可到网上搜索下。

 

        1：ROW_NUMBER，它的作用就是用来生成行号，默认是从1开始。

        2：公用表表达式（CTE），我这里并不会利用它的递归，而是用它来简化嵌套查询及对表自身引用功能。CTE的语法如下：

 

[ WITH <common_table_expression> [ ,n ] ]
<common_table_expression>::=
        expression_name [ ( column_name [ ,n ] ) ]
    AS
        ( CTE_query_definition )

 

 

        说明：1>CTE在某种程序上相当表变量或者临时表的功能。但比起表变量来说它最大的优势是对自身的引用，CTE语句后面紧跟的select ,update,delete等，操作的结果都会直接反应的实际物理表中。相比临时表，最大优势无非是性能，临时表实际是一张物理存在的表，在对它进行操作时，会产生额外的IO开销以及管理上的开销。

                2>CTE语法后面需要直接跟上使用CTE的相关语句select ,update,delete等,否则CTE会失效,下面的语句是错误的：

 

WITH   b AS ( SELECT   ROW_NUMBER() OVER ( PARTITION BY sname, saddress ORDER BY sname, saddress ) AS rn,
                        *
               FROM     a
             )
    DELETE  FROM b
    WHERE   rn > 1
 SELECT * from a
 SELECT * FROM b WHERE rn>1

 

       

      3：PARTITION BY，分区函数。和聚合函数不同的地方在于它能返回一个分组中的多条记录，聚合函数一般只有一条反映统计值的记录，partition  by用于给结果集分组，如果没有指定那么它把整个结果集作为一个分组 。

 

WITH   b AS ( SELECT   ROW_NUMBER() OVER ( PARTITION BY sname, saddress ORDER BY sname, saddress ) AS rn,
                        *
               FROM     a
             )
    DELETE  FROM b
    WHERE   rn > 1