为了对重复数据进行实验,下面建一个设计不太好(没有主键)表并插入了一些重复数据:

create database testdb

use testdb ;
go
create table DupsNoPK
(Col1 int Null,
 Col2 char(5) Null
);
go

insert DupsNoPK(Col1,Col2)
Values(1,'abc'),
      (2,'abc'),
      (2,'abc'),
      (2,'abc'),
      (7,'xyz'),
      (7,'xyz');

 为了验证表确实有重复数据,下面查询运用了一个group by 和having 子句只返回重复行,并对副本计数:

select Col1,Col2,Count(*) AS DupCount
from DupsNoPK
group by Col1,Col2
having count(*)>1;

 结果:

下面是运用窗口化删除重复行:

这种方法的关键是运用窗口化的,有row_number()函数和分区的over()子句。每个新分区会重新编号。设置over()子句为partition by每个要检查重复数据的列。在这种情况下每一列都会进行检查。

运行窗口化查询,首先显示方法如何应用于行号:

select Col1,Col2, row_number()over(partition by Col1,Col2 order by Col1)as rn from DupsNoPK

 结果:

每一个重复行都有一个比1大的rn值,所以,删除副本是比较容易的:

with DupsNumbered
as(
   select Col1,Col2,
          row_number()over(partition by Col1,Col2 order by Col1) as rn
   from DupsNoPK
   )
delete DupsNumbered where rn>1;

结果:

执行完上面语句后,下面用一条select语句测试删除重复数据的结果:

posted on 2014-06-28 09:33  松竹梅  阅读(1889)  评论(5编辑  收藏  举报