mysql 基础(sql优化)
插入优化
1. 批量插入
insert into tb_test values(1,'qwe'),(2,'qwe2'),(3,'qwe2');
2.手动事务提交
start transaction; insert into tb_test values(1,'qwe'),(2,'qwe2'),(3,'qwe2'); insert into tb_test values(1,'qwe'),(2,'qwe2'),(3,'qwe2'); insert into tb_test values(1,'qwe'),(2,'qwe2'),(3,'qwe2'); commit;
3. 主键顺序插入
4.大批量数据插入
如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySOL数据库提供的load指令进行插入。
# 客户端连接服务端时,加上参数-local-infile mysql --local-infile -u root -p # 查看是否开启 SELECT @@local_infile; #设置全局参数local infile为1,开启从本地加载文件导入数据的开关 set global local_infile=1; #执行load指令将准备好的数据,加载到表结构中 load data local infile '/root/sql1.log' into table tb_user fields terminated by ',' lines terminated by '\n';
主键优化
数据组织方式:
在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为 索引组织表
页分裂
页可以为空,也可以填充一半,也可以填充100%,每个页包含了2-N行数据(如果一行数据很大,会行溢出),根据主键排列
页合并
当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记为删除并且它的空间变得允许被其他记录声明使用。
当页中删除的记录达到 MERGE_THRESHOLD(默认为页的 50%),InnoDB 会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间的使用
视频地址:https://www.bilibili.com/video/BV1Kr4y1i7ru?p=90&spm_id_from=pageDriver
主键设计原则
- 满足业务需求的情况下,尽量降低主键的长度。
- 插入数据时,尽量选择顺序插入,选择使用 AUTO_INCREMENT自增主键。
- 尽量不要使用UUID做主键或者是其他自然主键,如身份证号。
- 业务操作时,避免对主键的修改。
order by优化
Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区 sort buffer 中完成排序操作,所有不是通过索引直接返回排序结果的排序 都叫 FileSort 排序
Using index:通过有序索引顺序扫描直接返回有序数据,不需要额外排序,操作效率高
多字段排序时情况下,创建索引时若没有指定字段排列顺序,那么默认都是升序排列,若一个升序一个降序就会成为Using filesort
解决办法是新增一个排序的索引
create index idx_age_pho_ad on tb_user(age asc, phone desc);
优化细节:
- 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则
- 尽量使用覆盖索引
- 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC / DESC)
- 如果不可避免的出现 filesort,大数据量排序时,可以适当增大排序缓冲区大小 sort_buffer_size(默认256k)
group by优化
在分组操作时,可以通过索引来提高效率
分组操作时,索引的使用也是满足最左前缀法则的
limit 优化
一个常见又非常头疼的问题就是 limit 2000000,10,此时需要MySQL排序前2000010记录,仅仅返回2000000 - 2000010 的记录,其他记录丢弃,查询排序的代价非常大。
优化思路:一般分页查询时,通过创建 覆盖索引 能购比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。
select * from tb_user t, (select id from tb_user order by id limit 2000000, 10) a where t.id=a.id;
先用limit查询出主键id,这样不用取出所有数据,提高了效率,再通过主键id进行索引查询取出全部数据
count 优化
- MyISAM 引擎把一个表的总行数存在了磁盘上,因此执行 count(*) 的时候会直接返回个数,效率很高。(前提是没有 where 条件,否则效率也低)
- InnoDB 引擎就麻烦一些,它执行 count(*) 的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数
优化方案
count(主键)
InnoDB 引擎会遍历整张表,把每一行的 主键id 值都取出来,返回给服务层。服务层拿到主键后,直接按行进行累加(主键不可能为null)
count(字段)
没有 not null 约束:InnoDB 引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为 null,不为 null,计数累加。
有 not null 约束:InnoDB 引擎会遍历整张表,把每一行的字段值都取出来,返回给服务层,直接按行进行累加。
count(1)
InnoDB 引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字“1”进去,直接按行进行累加
count(*)
InnoDB 引擎并不会把全部字段取出,而是专门做了优化,不取值,服务层直接按行进行累加
按照效率排序: count(字段) < count(主键 id) < count(1) ≈ count(*)
update 优化
InnoDB 存储引擎有一个特点,支持 行级锁,所以这意味着当多个线程同时更新一张表时,若更新的行不同,则可以同时对该表进行更新修改;
同时介绍一下 表锁,即多个线程要对表进行修改的时候,不能同时修改,因为锁住的是整张表,只能一个一个排着队进行
所以 update 的优化,意味着要规避行锁升级为表锁:
InnoDB 的行锁是针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁
根据索引字段更新