MYSQL处理数据重复值

MYSQL表或结果集有时会包含重复记录，需要采用某种方法标识这些重复的记录并移除它们，具体方案如下：

1、防止表中出现重复的记录

1.1、使用主键或唯一索引来防止出现重复的记录。例如，下表person_tbl允许出现first_name和last_name组合相同的记录。

CREATE TABLE person_tbl

(   

 first_name CHAR(20),    

 last_name CHAR(20),    

 sex CHAR(10)

);

1.2、设置（last_name，first_name）为主键，以确保不出现重复记录，语句如下。

CREATE TABLE person_tbl

(   

first_name CHAR(20) NOT NULL,   

last_name CHAR(20) NOT NULL,   

sex CHAR(10),   

PRIMARY KEY (last_name, first_name)

);

1.3、设置唯一索引，来强制记录是唯一的，语句如下。

CREATE TABLE person_tbl

(   

first_name CHAR(20) NOT NULL,  

last_name CHAR(20) NOT NULL,  

sex CHAR(10)   

UNIQUE (last_name, first_name)

);

2、数据库插入去除重复

对于可能出现重复的记录，我们可以考虑使用INSERT IGNORE语句。如果插入的记录并没有和现存的记录发生冲突，则正常插入之；如果有重复冲突，那么INSERT IGNORE将会告诉MySQL丢弃这条记录，且不报错。如下面这个例子。

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)

   VALUES ( 'Jay', 'Thomas');

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)

   VALUES ( 'Jay', 'Thomas');

还可以考虑采用REPLACE语句，如果记录是新的，那么它等同于INSERT。如果插入的是一个重复的记录，那么新记录将会替换旧的记录。

mysql> REPLACE INTO person_tbl (last_name, first_name)

   VALUES ( 'Ajay', 'Kumar');

Query OK, 1 row affected (0.00 sec)

mysql> REPLACE INTO person_tbl (last_name, first_name)

   VALUES ( 'Ajay', 'Kumar');

Query OK, 2 rows affected (0.00 sec)

综上所述，对于重复的记录，INSERT IGNORE仍然保留着现在的记录，丢弃新插入的记录。而REPLACE语句则会使用新的记录覆盖掉旧的记录。

文章基于MySQL DBA修炼之道整理，版权属于原作者