数据库去重的简易方法

前两天抓数据,都保存到一个表中,在抓取的时候重复抓取了一次,结果产生了大量完全重复的数据。

数据中有一列是Product_Number,在不重复的记录中是唯一的。就按照这个去重。

对了,别忘了新建一个完全相同的空表yc,然后运行下面语句,搞定。

insert into yc

SELECT max(Type)
,max(LOT)
,max(Status)
,max(product)
,max(product_link)
,Product_Number
,max(price1)
,max(price2)
,max(pmgs)
,max(pmdate)
FROM dbo.yc_temp
group by Product_Number

其实原理就是按照Product_Number来分组,然后每组只取一条记录。

posted @ 2012-08-29 21:42  坏海豹  阅读(338)  评论(0编辑  收藏  举报