Mysql 大批量数据插入与删除

1.插入

分批次插入

5w条数据，每次插入5000，总耗时在50s左右

2.删除

mysql一次性删除大量数据是有可能造成死锁的，而且也会抛异常
The total number of locks exceeds the lock table size in MySQL
这是由于需要删除的数据太大，mysql给的buffer好像只有8MB左右
lock wait timeout exceed 超时

加索引、计算maxId，统计数目count

SELECT max(id) from indonesia_camp_pit where timestamp <时间

SELECT count(*) from indonesia_camp_pit where id <maxId

循环分批次删除

delete from indonesia_camp_pit where id <maxId limit 10000

 每次删除1w条耗时300ms-500ms左右，总共删除100w-200w耗时30s