金融量化学习---Python, MySQL, Pandas

这里用来记录一些在金融领域,尤其是银行相关的资金、债券、票据中应用到的数据管理与分析, 编程等心得或笔记,以及个人的一点小小兴趣(易经八卦、藏密禅修)等

导航

删除MySQL数据表中的重复项

常常遇到这样去重的问题,或者由于数据库平时每日添加之后,难得有重复,数据变得冗余,这时就需要对数据表进行清理,去除重复的数据。
但是,所谓重复,有几层意思,一种是整行重复,每列的值都相同的,另一种是一行里的某(几)列重复。针对这几种情况,分析如下:

方法一:select distinct
这个方法最简单,直接选要去重的列或*,即可,或者create view select distinct * from database,

优点:快速得到结果
不足:1.源数据库未改变,本身的重复项并未消除。2.只能针对整行去重,不能针对某一列重复的项目去重。

方法二:保留最小ID (仅适用于有ID或序号的表)
delete from table_name where id not in (select min(id) from table_name group by column_name)
注:column_name一般是有重复值的那一列。

方法三:对于没有序号的表

考虑了一下,这种很难达到,尤其是要用delete语句不容易实现,而select就相对容易,不如直接select distinct
哈哈,只能先这样了

posted on 2020-08-13 16:14  chengjon  阅读(482)  评论(0编辑  收藏  举报