mysql 批量更新
mysql 批量更新共有以下四种办法
1、 replace into 批量更新
replace into 表名l (id,字段1) values (1,'2'),(2,'3'),...(x,'y');
2、insert into ...on duplicate key update批量更新
insert into 表名l (id,字段1) values (1,'2'),(2,'3'),...(x,'y') on duplicate key update 字段1=values(字段1);
3.创建临时表,先更新临时表,然后从临时表中update
create temporary table tmp(id int(4) primary key,dr varchar(50)); insert into tmp values (0,'gone'), (1,'xx'),...(m,'yy'); update test_tbl, tmp set test_tbl.dr=tmp.dr where test_tbl.id=tmp.id;
注意:这种方法需要用户有temporary 表的create 权限。
4、使用mysql 自带的语句构建批量更新
mysql 实现批量 可以用点小技巧来实现:
UPDATE yoiurtable SET dingdan = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END WHERE id IN (1,2,3)
这句sql 的意思是,更新dingdan 字段,如果id=1 则dingdan 的值为3,如果id=2 则dingdan 的值为4……
where部分不影响代码的执行,但是会提高sql执行的效率。确保sql语句仅执行需要修改的行数,这里只有3条数据进行更新,而where子句确保只有3行数据执行。
例子:
UPDATE book SET Author = CASE id WHEN 1 THEN '黄飞鸿' WHEN 2 THEN '方世玉' WHEN 3 THEN '洪熙官' END WHERE id IN (1,2,3)
如果更新多个值的话,只需要稍加修改:
UPDATE categories SET dingdan = CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END, title = CASE id WHEN 1 THEN 'New Title 1' WHEN 2 THEN 'New Title 2' WHEN 3 THEN 'New Title 3' END WHERE id IN (1,2,3)
到这里,已经完成一条mysql语句更新多条记录了。
php中用数组形式赋值批量更新的代码:
$display_order = array( 1 => 4, 2 => 1, 3 => 2, 4 => 3, 5 => 9, 6 => 5, 7 => 8, 8 => 9 ); $ids = implode(',', array_keys($display_order)); $sql = "UPDATE categories SET display_order = CASE id "; foreach ($display_order as $id => $ordinal) { $sql .= sprintf("WHEN %d THEN %d ", $id, $ordinal); } $sql .= "END WHERE id IN ($ids)"; echo $sql;
这个例子,有8条记录进行更新。代码也很容易理解,你学会了吗
更新 100000条数据的性能就测试结果来看,测试当时使用replace into性能较好。
replace into 和 insert into on duplicate key update的不同在于:
- replace into 操作本质是对重复的记录先delete 后insert,如果更新的字段不全会将缺失的字段置为缺省值,用这个要悠着点!否则不小心清空大量数据可不是闹着玩的!!!
- insert into 则是只update重复记录,不会改变其它字段。
相同点:
(1)没有key的时候,replace与insert .. on deplicate udpate相同。
(2)有key的时候,都保留主键值,并且auto_increment自动+1。
不同点
有key的时候,replace是delete老记录,而录入新的记录,所以原有的所有记录会被清除,这个时候,如果replace语句的字段不全的话,有些原有的比如例子中c字段的值会被自动填充为默认值。
而insert .. deplicate update则只执行update标记之后的sql,从表象上来看相当于一个简单的update语句。
但是实际上,根据我推测,如果是简单的update语句,auto_increment不会+1,应该也是先delete,再insert的操作,只是在insert的过程中保留除update后面字段以外的所有字段的值。
所以两者的区别只有一个,insert .. on deplicate udpate保留了所有字段的旧值,再覆盖然后一起insert进去,而replace没有保留旧值,直接删除再insert新值。
从底层执行效率上来讲,replace要比insert .. on deplicate update效率要高,但是在写replace的时候,字段要写全,防止老的字段数据被删除。
以下代码作为简单测试
<?php /** * CREATE TABLE `demo` ( * `id` int(10) unsigned NOT NULL AUTO_INCREMENT, * `data` varchar(255) NOT NULL, * PRIMARY KEY (`id`) * ) ENGINE=InnoDB DEFAULT CHARSET=utf8; */ /* * 连接数据库 */ $dsn = 'mysql:host=127.0.0.1;dbname=testdb;'; $user = 'root'; $password = '123456'; try { $dbh = new PDO( $dsn , $user , $password ); } catch ( \Exception $e ) { throw new \Exception( $e->getMessage () ); } /* * 调整 Mysql Server接受的数据包 */ $dbh->exec ( "set global max_allowed_packet = 2*1024*1024*1024" ); /* * 测试记录总数 */ $rowsCount = 10000; /* * 1 普通方式,逐行写入测试数据 */ $time_start = microtime ( true ); try { for ( $i = 1 ; $i <= $rowsCount ; $i ++ ) { $sql = "insert into demo( data ) value ('" . mt_rand ( 10000000 , 99999999 ) . "')"; $dbh->exec ( $sql ); } } catch ( \Exception $e ) { throw new \Exception( $e->getMessage () ); } $time_end = microtime ( true ); $time = $time_end - $time_start; echo "1 Execution time: {$time} s" . PHP_EOL; /* * 2 事务 */ $time_start = microtime ( true ); $dbh->beginTransaction (); try { for ( $i = 1 ; $i <= $rowsCount ; $i ++ ) { $sql = "insert into demo(data) value ('" . mt_rand ( 10000000 , 99999999 ) . "')"; $dbh->exec ( $sql ); } $dbh->commit (); } catch ( \Exception $e ) { $dbh->rollBack (); throw new \Exception( $e->getMessage () ); } $time_end = microtime ( true ); $time = $time_end - $time_start; echo "2 Execution time: {$time} s" . PHP_EOL; /* * 3 值合并方式,values (...),(...) */ $time_start = microtime ( true ); try { $sql = "insert into demo( data ) values "; for ( $i = 1 ; $i <= $rowsCount ; $i ++ ) { $sql .= "('" . mt_rand ( 10000000 , 99999999 ) . "'),"; } $dbh->exec ( rtrim ( $sql , ',' ) ); } catch ( \Exception $e ) { throw new \Exception( $e->getMessage () ); } $time_end = microtime ( true ); $time = $time_end - $time_start; echo "3 Execution time: {$time} s " . PHP_EOL; /* * 4 合并加事务 */ $time_start = microtime ( true ); $dbh->beginTransaction (); try { $sql = "insert into demo( data ) values "; for ( $i = 1 ; $i <= $rowsCount ; $i ++ ) { $sql .= "('" . mt_rand ( 10000000 , 99999999 ) . "'),"; } $dbh->exec ( rtrim ( $sql , ',' ) ); $dbh->commit (); } catch ( \Exception $e ) { $dbh->rollBack (); throw new \Exception( $e->getMessage () ); } $time_end = microtime ( true ); $time = $time_end - $time_start; echo "4 Execution time : {$time} s " . PHP_EOL;
输出结果: 10w数据: 1 Execution time: 269.58895611763 s 2 Execution time: 25.353534936905 s 3 Execution time: 1.2171220779419 s 4 Execution time : 1.1611158847809 s 50w数据: 1 Execution time: 1358.3988881111 s 2 Execution time: 119.97599983215 s 3 Execution time: 6.7320001125336 s 4 Execution time : 6.4200000762939 s
总结:
在数据量大的时候,进行数据合并形式"values(...),(...),...",如果有数据完整性的需求,采用事务,相对来说能好些.