MySQL索引结构及原理
一、索引简介
索引是一种用于快速查询和检索数据的数据结构。常见的索引结构有:B树
,B+树
和Hash
。
索引的作用就相当于目录的作用。打个比方:我们在查字典的时候,如果没有目录,那我们就只能一页一页的去找我们需要查的那个字,速度很慢。如果有目录了,我们只需要先去目录里查找字的位置,然后直接翻到那一页就行了。
1.1 索引的优缺点
优点:
- 使用索引可以大大加快数据的检索速度(大大减少检索的数据量),这也是创建索引的最主要的原因。
- 通过创建唯一性索引,可以保证数据库表中每一行数据的唯一性。
缺点:
- 创建索引和维护索引需要耗费许多时间。当对表中的数据进行增删改的时候,如果数据有索引,那么索引也需要动态的修改,会降低
SQL
执行效率。 - 索引需要使用物理文件存储,也会耗费一定空间。
但是,使用索引一定能提高查询性能吗?
大多数情况下,索引查询都是比全表扫描要快的。但是如果数据库的数据量不大,那么使用索引也不一定能够带来很大提升。
二、索引底层数据结构
2.1 B树 & B+树
B树
也称B-树
,全称为多路平衡查找树,B+树
是B树
的一种变体。B树
和B+树
中的B
是Balanced
(平衡)的意思。
目前大部分数据库系统及文件系统都采用B-Tree
或其变种B+Tree
作为索引结构。
B树 & B+树两者有何异同呢?
B树
的所有节点既存放键(key
)也存放数据(data
),而B+树
只有叶子节点存放key
和data
,其他内节点只存放key
。B树
的叶子节点都是独立的;B+树
的叶子节点有一条引用链指向与它相邻的叶子节点。B树
的检索的过程相当于对范围内的每个节点的关键字做二分查找,可能还没有到达叶子节点,检索就结束了。而B+树
的检索效率就很稳定了,任何查找都是从根节点到叶子节点的过程,叶子节点的顺序检索很明显。
在MySQL
中,MyISAM
引擎和InnoDB
引擎都是使用B+Tree
作为索引结构,但是,两者的实现方式不太一样。
下面的内容整理自《Java工程师修炼之道》
MyISAM
引擎中,B+Tree
叶节点的data
域存放的是数据记录的地址。在索引检索的时候,首先按照B+Tree
搜索算法搜索索引,如果指定的Key
存在,则取出其data
域的值,然后以data
域的值为地址读取相应的数据记录,这被称为“非聚簇索引”。
InnoDB
引擎中,其数据文件本身就是索引文件。相比MyISAM
,索引文件和数据文件是分离的,其表数据文件本身就是按B+Tree
组织的一个索引结构,树的叶节点data
域保存了完整的数据记录。这个索引的key
是数据表的主键,因此InnoDB
表数据文件本身就是主索引,这被称为“聚簇索引(或聚集索引)”,而其余的索引都作为辅助索引,辅助索引的data
域存储相应记录主键的值而不是地址,这也是和MyISAM
不同的地方。在根据主索引搜索时,直接找到key
所在的节点即可取出数据;在根据辅助索引查找时,则需要先取出主键的值,再走一遍主索引。因此,在设计表的时候,不建议使用过长的字段作为主键,也不建议使用非单调的字段作为主键,这样会造成主索引频繁分裂。
2.2 Hash表
哈希表是键值对的集合,通过键(key
)即可快速取出对应的值(value
),因此哈希表可以快速检索数据(接近O(1)
)。
为何能够通过key
快速取出value
呢?原因在于哈希算法(也叫散列算法)。通过哈希算法,我们可以快速找到key
对应的index
,找到了index
也就找到了对应的value
。
hash = hashfunc(key)
index = hash % array_size
但是!哈希算法有个Hash
冲突问题,也就是说多个不同的key
最后得到的index
相同。通常情况下,我们常用的解决办法是链地址法。链地址法就是将哈希冲突数据存放在链表中。就比如JDK1.8
之前HashMap
就是通过链地址法来解决哈希冲突的。不过,JDK1.8
以后HashMap
为了减少链表过长的时候搜索时间过长引入了红黑树。
为了减少Hash
冲突的发生,一个好的哈希函数应该“均匀地”将数据分布在整个可能的哈希值集合中。
既然哈希表这么快,为什么MySQL
没有使用其作为索引的数据结构呢?
1.Hash
冲突问题:我们上面也提到过Hash
冲突了,不过对于数据库来说这还不算最大的缺点。
2.Hash
索引不支持顺序和范围查询是它最大的缺点:假如我们要对表中的数据进行排序或者进行范围查询,那Hash
索引可就不行了。
试想一种情况:
SELECT * FROM tb1 WHERE id < 500;
在这种范围查询中,优势非常大,直接遍历比500
小的叶子节点就够了。而Hash
索引是根据hash
算法来定位的,难不成还要把1 - 499
的数据,每个都进行一次hash
计算来定位吗?这就是Hash
最大的缺点了。
三、索引类型
3.1 主键索引与辅助索引
3.1.1 主键索引
数据表的主键列使用的就是主键索引(Primary Key
)。
一张数据表有且只能有一个主键,并且主键不能为null
,不能重复。
在MySQL
的InnoDB
的表中,当没有显示的指定表的主键时,InnoDB
会自动先检查表中是否有唯一索引且不允许存在null
值的字段,如果有,则选择该字段为默认的主键,否则InnoDB
将会自动创建一个6Byte
的自增主键。
3.1.2 二级索引(辅助索引)
二级索引又称为辅助索引,是因为二级索引的叶子节点存储的数据是主键。也就是说,通过二级索引,可以定位主键的位置。
唯一索引,普通索引,前缀索引等索引属于二级索引。
- 唯一索引(
Unique Key
):唯一索引也是一种约束。唯一索引的属性列不能出现重复的数据,但是允许数据为null
,一张表允许创建多个唯一索引。建立唯一索引的目的大部分时候都是为了该属性列的数据的唯一性,而不是为了查询效率。 - 普通索引(
Index
):普通索引的唯一作用就是为了快速查询数据,一张表允许创建多个普通索引,并允许数据重复和null
。 - 前缀索引(
Prefix
):前缀索引只适用于字符串类型的数据。前缀索引是对文本的前几个字符创建索引,相比普通索引建立的数据更小,因为只取前几个字符。 - 全文索引(
Full Text
):全文索引主要是为了检索大文本数据中的关键字的信息,是目前搜索引擎数据库使用的一种技术。Mysql 5.6
之前只有MyISAM
引擎支持全文索引,5.6
之后InnoDB
也支持了全文索引。
二级索引:
3.2 聚集索引与非聚集索引
3.2.1 聚集索引
聚集索引即索引结构和数据一起存放的索引。主键索引属于聚集索引。
在MySQL
中,InnoDB
引擎的表的.ibd
文件就包含了该表的索引和数据,对于InnoDB
引擎表来说,该表的索引(B+树
)的每个非叶子节点存储索引,叶子节点存储索引和索引对应的数据。
优点:聚集索引的查询速度非常的快,因为整个B+树
本身就是一颗多叉平衡树,叶子节点也都是有序的,定位到索引的节点,就相当于定位到了数据。
缺点:
- 依赖于有序的数据:因为
B+树
是多路平衡树,如果索引的数据不是有序的,那么就需要在插入时排序,如果数据是整型还好,否则类似于字符串或UUID
这种又长又难比较的数据,插入或查找的速度肯定比较慢。 - 更新代价大:如果对索引列的数据被修改时,那么对应的索引也将会被修改,而且聚集索引的叶子节点还存放着数据,修改代价肯定是较大的,所以对于主键索引来说,主键一般都是不可被修改的。
3.2.2 非聚集索引
非聚集索引即索引结构和数据分开存放的索引。
二级索引属于非聚集索引。
非聚集索引的叶子节点并不一定存放数据的指针,因为二级索引的叶子节点就存放的是主键,根据主键再回表查数据。
优点:更新代价比聚集索引要小。非聚集索引的更新代价就没有聚集索引那么大了,非聚集索引的叶子节点是不存放数据的
缺点:
- 跟聚集索引一样,非聚集索引也依赖于有序的数据
- 可能会二次查询(回表):这应该是非聚集索引最大的缺点了。当查到索引对应的指针或主键后,可能还需要根据指针或主键再到数据文件或表中查询。
这是MySQL
的表的文件截图:
聚集索引和非聚集索引:
3.2.2.1 非聚集索引一定回表查询吗(覆盖索引)?
非聚集索引不一定回表查询。
试想一种情况,用户准备使用
SQL
查询用户名,而用户名字段正好建立了索引。
select `name` from table where name='guang19';
那么这个索引的
key
本身就是name
,查到对应的name
直接返回就行了,无需回表查询。
即使是MYISAM
也是这样,虽然MYISAM
的主键索引确实需要回表,因为它的主键索引的叶子节点存放的是指针。但是如果SQL
查的就是主键呢?
select id from table where id=1;
主键索引本身的key
就是主键,查到返回就行了。这种情况就称之为覆盖索引了。
四、索引解析
4.1 覆盖索引
如果一个索引包含(或者说覆盖)所需要查询字段的值,我们就称之为“覆盖索引”。在InnoDB
存储引擎中,如果不是主键索引,叶子节点存储的是主键 + 列值
。最终还是要“回表”,也就是要通过主键再查找一次,这样就会比较慢。覆盖索引就是把要查询出的列和索引是对应的,不做回表操作!
覆盖索引即需要查询的字段正好是索引的字段,那么直接根据该索引,就可以查到数据了,而无需回表查询。
如主键索引,如果一条
SQL
需要查询主键,那么正好根据主键索引就可以查到主键。再如普通索引,如果一条SQL
需要查询name
,name
字段正好有索引,那么直接根据这个索引就可以查到数据,也无需回表。
覆盖索引:
案例:
如表
CREATE TABLE `t_stu` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_name_age` (`name`,`age`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4;
执行以下sql
mysql> explain select * from t_stu where `name` = 'li' and age = 18;
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
| 1 | SIMPLE | t_stu | ref | idx_name_age | idx_name_age | 1028 | const | 1 |Using index|
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
mysql> explain select name from t_stu where `name` = 'li' and age = 18;
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
| 1 | SIMPLE | t_stu | ref | idx_name_age | idx_name_age | 1028 | const | 1 |Using index|
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
以上结果相同。
4.2 联合索引
4.2.1 概述
使用表中的多个字段创建索引,就是联合索引,也叫组合索引或复合索引。联合索引本质上也是二级索引,区别仅仅在于由一个列变为多个列而已。
4.2.2 最左匹配原则
最左前缀匹配原则指的是,在使用联合索引时,MySQL
会根据联合索引中的字段顺序,从左到右依次到查询条件中去匹配,如果查询条件中存在与联合索引中最左侧字段相匹配的字段,则就会使用该字段过滤一批数据,直至联合索引中全部字段匹配完成,或者在执行过程中遇到范围查询,如>
、<
、between
和以%开头的like
查询等条件,才会停止匹配。
所以,我们在使用联合索引时,可以将区分度高的字段放在最左边,这也可以过滤更多数据。
4.3 索引下推
4.3.1 概述
索引下推(index condition pushdown
)简称ICP
,是MySQL 5.6版本中提供的一项索引优化功能,可以在非聚簇索引遍历过程中,对索引中包含的字段先做判断,过滤掉不符合条件的记录,减少回表次数。
4.3.2 实践
在开始之前先准备一张用户表(user
),其中主要几个字段有:id、name、age、address。建立联合索引(name, age)
。假设有一个需求,要求匹配姓名第一个为陈的所有用户,sql
语句如下:
mysql> SELECT * from user where name like '陈%';
根据"最左匹配原则"的原则,这里使用了联合索引(name, age)
进行了查询,性能要比全表扫描肯定要高。问题来了,如果有其他的条件呢?假设又有一个需求,要求匹配姓名第一个字为陈,年龄为20
岁的用户,此时的sql
语句如下:
mysql> SELECT * from user where name like '陈%' and age = 20;
这条sql语句应该如何执行呢?下面对Mysql 5.6
之前版本和之后版本进行分析。
4.3.3 执行过程
5.6之前的版本是没有索引下推这个优化的,因此执行的过程如下图:
会忽略age
这个字段,直接通过name
进行查询,在(name, age)
这课树上查找到了两个结果,id
分别为2,1,然后拿着取到的id
值一次次的回表查询,因此这个过程需要回表两次。
5.6
版本添加了索引下推这个优化,执行的过程如下图:
InnoDB
并没有忽略age
这个字段,而是在索引内部就判断了age
是否等于20
,对于不等于20
的记录直接跳过,因此在(name, age)
这棵索引树中只匹配到了一个记录,此时拿着这个id去主键索引树中回表查询全部数据,这个过程只需要回表一次。
4.3.4 实践
当然上述的分析只是原理上的,我们可以实战分析一下,因此陈某装了Mysql 5.6
版本的Mysql
,解析了上述的语句,如下图:
根据explain
解析结果可以看出Extra
的值为Using index condition,表示已经使用了索引下推。
4.3.5 小结
索引下推在非主键索引上的优化,可以有效减少回表的次数,大大提升了查询的效率。
关闭索引下推可以使用如下命令,配置文件的修改不再讲述了,毕竟这么优秀的功能干嘛关闭呢:
mysql> set optimizer_switch='index_condition_pushdown=off';
4.4 索引下潜与索引统计
eq_range_index_dive_limit
参数提供了一个阈值,优化器在估算扫描行数时,会根据这个参数,来决定估算策略。
通常优化器有两种估算策略,索引统计和索引下潜(index dives
)。
- 索引统计使用的是采样的统计信息,执行速度较快,但是统计数据不准确。
- 索引下潜通过调用引擎接口,能够获取到更准确的估算数据,但是执行成本较高,比较耗时。
优化器在选择策略时,会参考eq_range_index_dive_limit
参数的值与where
条件中范围相等比较的个数。比如下面两个条件:
- col_name IN(val1, …, valN)
- col_name = val1 OR … OR col_name = valN
in
子句中元素的数量,以及or
子句两边的数量,当这个数量超过eq_range_index_dive_limit
阈值时,优化器选择使用索引统计,否则优化器选择索引下潜。
当eq_range_index_dive_limit
设置为0
时,优化器始终使用索引下潜。
五、索引使用
5.1 索引添加
- 添加主键索引(primary key)
alter table `table_name` add primary key (`column`);
- 添加唯一索引(unique)
alter table `table_name` add unique (`column`);
- 添加普通索引(index)
alter table `table_name` add index index_name (`column`);
- 添加全文索引(fulltext)
alter table `table_name` add fulltext (`column`);
- 添加多列索引
alter table `table_name` add index index_name (`column1`, `column2`, `column3`);
- 使用索引(use index)
select * from `table_name` use index (index_name) where 1=1;
- 强制索引(force index)
select * from `table_name` force index (index_name) where 1=1;
- 忽略索引(ignore index)
select * from `table_name` ignore index (index_name, index_name2) where 1=1;
5.2 索引失效
5.2.1 范围查询
联合索引中,出现范围查询(>,<,!=),否则将引擎放弃使用索引而进行全表扫描。
explain select * from user where age > 20;
优化:用>=、<=代替>、<
explain select * from user where age >= 20;
5.2.2 索引列运算
不要在索引列上进行运算操作,会导致索引失效。
explain select * from user where age + 1 = 20;
执行上面的explain语句,看到type值为all;全表查询,性能很低,没有用到索引
5.2.3 避免函数
应尽量避免在where
子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:
-- name以abc开头的id
select id from t where substring(name, 1, 3) = 'abc';
-- '2005-11-30' --生成的id
select id from t where datediff(day, createdate, '2005-11-30') = 0;
应改为:
select id from t where name like 'abc%';
select id from t where createdate >= '2005-11-30' and createdate < '2005-12-1';
不要在
where
子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。
5.2.4 头部模糊查询
explain select * from user where name like '李%';
explain select * from user where name like '%李';
explain select * from user where name like '%李%';
上面第一个会走索引,后面两个不走。多条件查询参考上面《索引下推》
5.2.5 or连接
or分割,如果or前的条件中列有索引,后面没有索引,那么索引不会被用到。
select id from t where num = 10 or name = 'admin';
可以这样查询:
select id from t where num = 10
union all
select id from t where name = 'admin';
5.2.6 空值判断
应尽量避免在where
子句中对字段进行null
值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:
select id from t where num is null;
最好不要给数据库留NULL
,尽可能的使用NOT NULL
填充数据库。备注、描述、评论之类的可以设置为NULL
,其他的,最好不要使用NULL
。
不要以为NULL
不需要空间,比如:char(100)
型,在字段建立时,空间就固定了,不管是否插入值(NULL
也包含在内),都是占用100
个字符的空间的,如果是varchar
这样的变长字段,null
不占用空间。
可以在num
上设置默认值0
,确保表中num
列没有null
值,然后这样查询:
select id from t where num = 0;
5.2.7 慎用in和not in
in
和not in
要慎用,否则会导致全表扫描,如:
select id from t where num in(1, 2, 3);
对于连续的数值,能用between
就不要用in
了:
select id from t where num between 1 and 3;
很多时候用exists
代替in
是一个好的选择:
select num from a where num in (select num from b);
用下面的语句替换:
select num from a where exists (select 1 from b where a.id = b.id);
在使用in
或者or
等条件进行查询时,MySQL
使用eq_range_index_dive_limit
参数来判断使用index dive
还是使用index statistics
方式来进行预估:
①.当低于eq_range_index_dive_limit
参数阀值时,采用index dive
方式预估影响行数,该方式优点是相对准确,但不适合对大量值进行快速预估。
②.当大于或等于eq_range_index_dive_limit
参数阀值时,采用index statistics
方式预估影响行数,该方式优点是计算预估值的方式简单,可以快速获得预估数据,但相对偏差较大。
IN
是把外表和内表作HASH JOIN
,EXISTS
是对外表作LOOP
,每次循环再对内表进行查询。所以单从时间复杂度上看EXISTS
是要比IN
快。
可以简单记为,如果两个表差不多大,那么两个关键字差别不大;如果一个小表一个大表,则子查询大表用EXISTS
,子查询小表用IN
。但要注意,无论何种情况,NOT EXISTS
都是要比NOT IN
快的,因为前者可以用到索引。
5.2.8 慎用参数
如果在where
子句中使用参数,也会导致全表扫描。因为SQL
只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:
select id from t where num = @num;
可以改为强制查询使用索引:
select id from t with(index(索引名)) where num = @num;
六、拓展
6.1 创建索引的注意事项
1. 选择合适的字段创建索引:
- 不为
null
的字段:索引字段的数据应该尽量不为null
,因为对于数据为null
的字段,数据库较难优化。如果字段频繁被查询,但又避免不了为null
,建议使用0
,1
,true
,false
这样语义较为清晰的短值或短字符作为替代。 - 被频繁查询的字段:我们创建索引的字段应该是查询操作非常频繁的字段。
- 被作为条件查询的字段:被作为
where
条件查询的字段,应该被考虑建立索引。 - 频繁需要排序的字段:索引已经排序,这样查询可以利用索引的排序,加快排序查询时间。
- 被经常频繁用于连接的字段:经常用于连接的字段可能是一些外键列,对于外键列并不一定要建立外键,只是说该列涉及到表与表的关系。对于频繁被连接查询的字段,可以考虑建立索引,提高多表连接查询的效率。
2. 被频繁更新的字段应该慎重建立索引。
虽然索引能带来查询上的效率,但是维护索引的成本也是不小的。如果一个字段不被经常查询,反而被经常修改,那么就更不应该在这种字段上建立索引了。
3. 尽可能的考虑建立联合索引而不是单列索引。
因为索引是需要占用磁盘空间的,可以简单理解为每个索引都对应着一颗B+树
。如果一个表的字段过多,索引过多,那么当这个表的数据达到一个体量后,索引占用的空间也是很多的,且修改索引时,耗费的时间也是较多的。如果是联合索引,多个字段在一个索引上,那么将会节约很大磁盘空间,且修改数据的操作效率也会提升。
4. 注意避免冗余索引。
冗余索引指的是索引的功能相同,能够命中索引(a, b)
就肯定能命中索引(a),那么索引(a)就是冗余索引。如(name, city)
和(name)
这两个索引就是冗余索引,能够命中前者的查询肯定是能够命中后者的在大多数情况下,都应该尽量扩展已有的索引而不是创建新索引。
5. 考虑在字符串类型的字段上使用前缀索引代替普通索引。
前缀索引仅限于字符串类型,较普通索引会占用更小的空间,所以可以考虑使用前缀索引带替普通索引。
6.2 使用索引的一些建议
- 对于中到大型表索引都是非常有效的,但是特大型表的话维护开销会很大,不适合建索引
- 避免
where
子句中对字段施加函数,这会造成无法命中索引。 - 在使用
InnoDB
时使用与业务无关的自增主键作为主键,即使用逻辑主键,而不要使用业务主键。 - 删除长期未使用的索引,不用的索引的存在会造成不必要的性能损耗
MySQL 5.7
可以通过查询sys
库的schema_unused_indexes
视图来查询哪些索引从未被使用 - 在使用
limit
offset
查询缓慢时,可以借助索引来提高性能
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· DeepSeek R1 简明指南:架构、训练、本地部署及硬件要求
· NetPad:一个.NET开源、跨平台的C#编辑器