MySQL索引结构及原理

一、索引简介

索引是一种用于快速查询和检索数据的数据结构。常见的索引结构有：B树，B+树和Hash。

索引的作用就相当于目录的作用。打个比方：我们在查字典的时候，如果没有目录，那我们就只能一页一页的去找我们需要查的那个字，速度很慢。如果有目录了，我们只需要先去目录里查找字的位置，然后直接翻到那一页就行了。

1.1 索引的优缺点

优点：

  • 使用索引可以大大加快数据的检索速度(大大减少检索的数据量)，这也是创建索引的最主要的原因。
  • 通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。

缺点：

  • 创建索引和维护索引需要耗费许多时间。当对表中的数据进行增删改的时候，如果数据有索引，那么索引也需要动态的修改，会降低SQL执行效率。
  • 索引需要使用物理文件存储，也会耗费一定空间。

但是，使用索引一定能提高查询性能吗?

大多数情况下，索引查询都是比全表扫描要快的。但是如果数据库的数据量不大，那么使用索引也不一定能够带来很大提升。

二、索引底层数据结构

2.1 B树 & B+树

B树也称B-树，全称为多路平衡查找树，B+树是B树的一种变体。B树和B+树中的B是Balanced(平衡)的意思。

目前大部分数据库系统及文件系统都采用B-Tree或其变种B+Tree作为索引结构。

B树 & B+树两者有何异同呢？

  • B树的所有节点既存放键(key)也存放数据(data)，而B+树只有叶子节点存放key和data，其他内节点只存放key。
  • B树的叶子节点都是独立的；B+树的叶子节点有一条引用链指向与它相邻的叶子节点。
  • B树的检索的过程相当于对范围内的每个节点的关键字做二分查找，可能还没有到达叶子节点，检索就结束了。而B+树的检索效率就很稳定了，任何查找都是从根节点到叶子节点的过程，叶子节点的顺序检索很明显。

在MySQL中，MyISAM引擎和InnoDB引擎都是使用B+Tree作为索引结构，但是，两者的实现方式不太一样。

下面的内容整理自《Java工程师修炼之道》

MyISAM引擎中，B+Tree叶节点的data域存放的是数据记录的地址。在索引检索的时候，首先按照B+Tree搜索算法搜索索引，如果指定的Key存在，则取出其data域的值，然后以data域的值为地址读取相应的数据记录，这被称为“非聚簇索引”。

InnoDB引擎中，其数据文件本身就是索引文件。相比MyISAM，索引文件和数据文件是分离的，其表数据文件本身就是按B+Tree组织的一个索引结构，树的叶节点data域保存了完整的数据记录。这个索引的key是数据表的主键，因此InnoDB表数据文件本身就是主索引，这被称为“聚簇索引(或聚集索引)”，而其余的索引都作为辅助索引，辅助索引的data域存储相应记录主键的值而不是地址，这也是和MyISAM不同的地方。在根据主索引搜索时，直接找到key所在的节点即可取出数据；在根据辅助索引查找时，则需要先取出主键的值，再走一遍主索引。因此，在设计表的时候，不建议使用过长的字段作为主键，也不建议使用非单调的字段作为主键，这样会造成主索引频繁分裂。

2.2 Hash表

哈希表是键值对的集合，通过键(key)即可快速取出对应的值(value)，因此哈希表可以快速检索数据(接近O(1))。

为何能够通过key快速取出value呢？原因在于哈希算法(也叫散列算法)。通过哈希算法，我们可以快速找到key对应的index，找到了index也就找到了对应的value。

hash = hashfunc(key)
index = hash % array_size

但是！哈希算法有个Hash冲突问题，也就是说多个不同的key最后得到的index相同。通常情况下，我们常用的解决办法是链地址法。链地址法就是将哈希冲突数据存放在链表中。就比如JDK1.8之前HashMap就是通过链地址法来解决哈希冲突的。不过，JDK1.8以后HashMap为了减少链表过长的时候搜索时间过长引入了红黑树。

为了减少Hash冲突的发生，一个好的哈希函数应该“均匀地”将数据分布在整个可能的哈希值集合中。

既然哈希表这么快，为什么MySQL没有使用其作为索引的数据结构呢？

1.Hash冲突问题：我们上面也提到过Hash冲突了，不过对于数据库来说这还不算最大的缺点。
2.Hash索引不支持顺序和范围查询是它最大的缺点：假如我们要对表中的数据进行排序或者进行范围查询，那Hash索引可就不行了。

试想一种情况:

SELECT * FROM tb1 WHERE id < 500;

在这种范围查询中，优势非常大，直接遍历比500小的叶子节点就够了。而Hash索引是根据hash算法来定位的，难不成还要把1 - 499的数据，每个都进行一次hash计算来定位吗?这就是Hash最大的缺点了。

三、索引类型

3.1 主键索引与辅助索引

3.1.1 主键索引

数据表的主键列使用的就是主键索引(Primary Key)。

一张数据表有且只能有一个主键，并且主键不能为null，不能重复。

在MySQL的InnoDB的表中，当没有显示的指定表的主键时，InnoDB会自动先检查表中是否有唯一索引且不允许存在null值的字段，如果有，则选择该字段为默认的主键，否则InnoDB将会自动创建一个6Byte的自增主键。

3.1.2 二级索引(辅助索引)

二级索引又称为辅助索引，是因为二级索引的叶子节点存储的数据是主键。也就是说，通过二级索引，可以定位主键的位置。

唯一索引，普通索引，前缀索引等索引属于二级索引。

  1. 唯一索引(Unique Key)：唯一索引也是一种约束。唯一索引的属性列不能出现重复的数据，但是允许数据为null，一张表允许创建多个唯一索引。建立唯一索引的目的大部分时候都是为了该属性列的数据的唯一性，而不是为了查询效率。
  2. 普通索引(Index)：普通索引的唯一作用就是为了快速查询数据，一张表允许创建多个普通索引，并允许数据重复和null。
  3. 前缀索引(Prefix)：前缀索引只适用于字符串类型的数据。前缀索引是对文本的前几个字符创建索引，相比普通索引建立的数据更小，因为只取前几个字符。
  4. 全文索引(Full Text)：全文索引主要是为了检索大文本数据中的关键字的信息，是目前搜索引擎数据库使用的一种技术。Mysql 5.6之前只有MyISAM引擎支持全文索引，5.6之后InnoDB也支持了全文索引。

二级索引:

3.2 聚集索引与非聚集索引

3.2.1 聚集索引

聚集索引即索引结构和数据一起存放的索引。主键索引属于聚集索引。

在MySQL中，InnoDB引擎的表的.ibd文件就包含了该表的索引和数据，对于InnoDB引擎表来说，该表的索引(B+树)的每个非叶子节点存储索引，叶子节点存储索引和索引对应的数据。

优点：聚集索引的查询速度非常的快，因为整个B+树本身就是一颗多叉平衡树，叶子节点也都是有序的，定位到索引的节点，就相当于定位到了数据。
缺点：

  1. 依赖于有序的数据：因为B+树是多路平衡树，如果索引的数据不是有序的，那么就需要在插入时排序，如果数据是整型还好，否则类似于字符串或UUID这种又长又难比较的数据，插入或查找的速度肯定比较慢。
  2. 更新代价大：如果对索引列的数据被修改时，那么对应的索引也将会被修改，而且聚集索引的叶子节点还存放着数据，修改代价肯定是较大的，所以对于主键索引来说，主键一般都是不可被修改的。

3.2.2 非聚集索引

非聚集索引即索引结构和数据分开存放的索引。

二级索引属于非聚集索引。

非聚集索引的叶子节点并不一定存放数据的指针，因为二级索引的叶子节点就存放的是主键，根据主键再回表查数据。

优点：更新代价比聚集索引要小。非聚集索引的更新代价就没有聚集索引那么大了，非聚集索引的叶子节点是不存放数据的

缺点：

  1. 跟聚集索引一样，非聚集索引也依赖于有序的数据
  2. 可能会二次查询(回表):这应该是非聚集索引最大的缺点了。当查到索引对应的指针或主键后，可能还需要根据指针或主键再到数据文件或表中查询。

这是MySQL的表的文件截图:

聚集索引和非聚集索引:

3.2.2.1 非聚集索引一定回表查询吗(覆盖索引)?

非聚集索引不一定回表查询。

试想一种情况，用户准备使用SQL查询用户名，而用户名字段正好建立了索引。

select `name` from table where name='guang19';

那么这个索引的key本身就是name，查到对应的name直接返回就行了，无需回表查询。

即使是MYISAM也是这样，虽然MYISAM的主键索引确实需要回表，因为它的主键索引的叶子节点存放的是指针。但是如果SQL查的就是主键呢?

select id from table where id=1;

主键索引本身的key就是主键，查到返回就行了。这种情况就称之为覆盖索引了。

四、索引解析

4.1 覆盖索引

如果一个索引包含(或者说覆盖)所需要查询字段的值，我们就称之为“覆盖索引”。在InnoDB存储引擎中，如果不是主键索引，叶子节点存储的是主键 + 列值。最终还是要“回表”，也就是要通过主键再查找一次，这样就会比较慢。覆盖索引就是把要查询出的列和索引是对应的，不做回表操作！

覆盖索引即需要查询的字段正好是索引的字段，那么直接根据该索引，就可以查到数据了，而无需回表查询。

如主键索引，如果一条SQL需要查询主键，那么正好根据主键索引就可以查到主键。再如普通索引，如果一条SQL需要查询name，name字段正好有索引，那么直接根据这个索引就可以查到数据，也无需回表。

覆盖索引：

案例：

如表

CREATE TABLE `t_stu` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_name_age` (`name`,`age`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb4;

执行以下sql

mysql> explain select * from t_stu where `name` = 'li' and age = 18;
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
| id | select_type | table | type | possible_keys | key          | key_len | ref   | rows | Extra     |
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
|  1 | SIMPLE      | t_stu | ref  | idx_name_age  | idx_name_age | 1028    | const | 1    |Using index|
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+

mysql> explain select name from t_stu where `name` = 'li' and age = 18;
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
| id | select_type | table | type | possible_keys | key          | key_len | ref   | rows | Extra     |
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+
|  1 | SIMPLE      | t_stu | ref  | idx_name_age  | idx_name_age | 1028    | const | 1    |Using index|
+----+-------------+-------+------+---------------+--------------+---------+-------+------+-----------+

以上结果相同。

4.2 联合索引

4.2.1 概述

使用表中的多个字段创建索引，就是联合索引，也叫组合索引或复合索引。联合索引本质上也是二级索引，区别仅仅在于由一个列变为多个列而已。

4.2.2 最左匹配原则

最左前缀匹配原则指的是，在使用联合索引时，MySQL会根据联合索引中的字段顺序，从左到右依次到查询条件中去匹配，如果查询条件中存在与联合索引中最左侧字段相匹配的字段，则就会使用该字段过滤一批数据，直至联合索引中全部字段匹配完成，或者在执行过程中遇到范围查询，如>、<、between和以%开头的like查询等条件，才会停止匹配。

所以，我们在使用联合索引时，可以将区分度高的字段放在最左边，这也可以过滤更多数据。

4.3 索引下推

4.3.1 概述

索引下推(index condition pushdown)简称ICP，是MySQL 5.6版本中提供的一项索引优化功能，可以在非聚簇索引遍历过程中，对索引中包含的字段先做判断，过滤掉不符合条件的记录，减少回表次数。

4.3.2 实践

在开始之前先准备一张用户表(user)，其中主要几个字段有：id、name、age、address。建立联合索引(name, age)。假设有一个需求，要求匹配姓名第一个为陈的所有用户，sql语句如下：

mysql> SELECT * from user where name like '陈%';

根据"最左匹配原则"的原则，这里使用了联合索引(name, age)进行了查询，性能要比全表扫描肯定要高。问题来了，如果有其他的条件呢？假设又有一个需求，要求匹配姓名第一个字为陈，年龄为20岁的用户，此时的sql语句如下：

mysql> SELECT * from user where name like '陈%' and age = 20;

这条sql语句应该如何执行呢？下面对Mysql 5.6之前版本和之后版本进行分析。

4.3.3 执行过程

5.6之前的版本是没有索引下推这个优化的，因此执行的过程如下图：

会忽略age这个字段，直接通过name进行查询，在(name, age)这课树上查找到了两个结果，id分别为2,1，然后拿着取到的id值一次次的回表查询，因此这个过程需要回表两次。

5.6版本添加了索引下推这个优化，执行的过程如下图：

InnoDB并没有忽略age这个字段，而是在索引内部就判断了age是否等于20，对于不等于20的记录直接跳过，因此在(name, age)这棵索引树中只匹配到了一个记录，此时拿着这个id去主键索引树中回表查询全部数据，这个过程只需要回表一次。

4.3.4 实践

当然上述的分析只是原理上的，我们可以实战分析一下，因此陈某装了Mysql 5.6版本的Mysql，解析了上述的语句，如下图：

根据explain解析结果可以看出Extra的值为Using index condition，表示已经使用了索引下推。

4.3.5 小结

索引下推在非主键索引上的优化，可以有效减少回表的次数，大大提升了查询的效率。
关闭索引下推可以使用如下命令，配置文件的修改不再讲述了，毕竟这么优秀的功能干嘛关闭呢：

mysql> set optimizer_switch='index_condition_pushdown=off';

4.4 索引下潜与索引统计

eq_range_index_dive_limit参数提供了一个阈值，优化器在估算扫描行数时，会根据这个参数，来决定估算策略。

通常优化器有两种估算策略，索引统计和索引下潜(index dives)。

  • 索引统计使用的是采样的统计信息，执行速度较快，但是统计数据不准确。
  • 索引下潜通过调用引擎接口，能够获取到更准确的估算数据，但是执行成本较高，比较耗时。

优化器在选择策略时，会参考eq_range_index_dive_limit参数的值与where条件中范围相等比较的个数。比如下面两个条件：

  • col_name IN(val1, …, valN)
  • col_name = val1 OR … OR col_name = valN

in子句中元素的数量，以及or子句两边的数量，当这个数量超过eq_range_index_dive_limit阈值时，优化器选择使用索引统计，否则优化器选择索引下潜。

当eq_range_index_dive_limit设置为0时，优化器始终使用索引下潜。

五、索引使用

5.1 索引添加

  1. 添加主键索引(primary key)
alter table `table_name` add primary key (`column`);
  1. 添加唯一索引(unique)
alter table `table_name` add unique (`column`);
  1. 添加普通索引(index)
alter table `table_name` add index index_name (`column`);
  1. 添加全文索引(fulltext)
alter table `table_name` add fulltext (`column`);
  1. 添加多列索引
alter table `table_name` add index index_name (`column1`, `column2`, `column3`);
  1. 使用索引(use index)
select * from `table_name` use index (index_name) where 1=1;
  1. 强制索引(force index)
select * from `table_name` force index (index_name) where 1=1;
  1. 忽略索引(ignore index)
select * from `table_name` ignore index (index_name, index_name2) where 1=1;

5.2 索引失效

5.2.1 范围查询

联合索引中，出现范围查询(>,<,!=)，否则将引擎放弃使用索引而进行全表扫描。

explain select * from user where age > 20;

优化：用>=、<=代替>、<

explain select * from user where age >= 20;

5.2.2 索引列运算

不要在索引列上进行运算操作，会导致索引失效。

explain select * from user where age + 1 = 20;

执行上面的explain语句，看到type值为all；全表查询，性能很低，没有用到索引

5.2.3 避免函数

应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：

-- name以abc开头的id
select id from t where substring(name, 1, 3) = 'abc';
-- '2005-11-30'    --生成的id
select id from t where datediff(day, createdate, '2005-11-30') = 0;

应改为:

select id from t where name like 'abc%';
select id from t where createdate >= '2005-11-30' and createdate < '2005-12-1';

不要在where子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。

5.2.4 头部模糊查询

explain select * from user where name like '李%';
explain select * from user where name like '%李';
explain select * from user where name like '%李%';

上面第一个会走索引，后面两个不走。多条件查询参考上面《索引下推》

5.2.5 or连接

or分割，如果or前的条件中列有索引，后面没有索引，那么索引不会被用到。

select id from t where num = 10 or name = 'admin';

可以这样查询：

select id from t where num = 10
union all
select id from t where name = 'admin';

5.2.6 空值判断

应尽量避免在where子句中对字段进行null值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：

select id from t where num is null;

最好不要给数据库留NULL，尽可能的使用NOT NULL填充数据库。备注、描述、评论之类的可以设置为NULL，其他的，最好不要使用NULL。

不要以为NULL不需要空间，比如：char(100)型，在字段建立时，空间就固定了，不管是否插入值（NULL也包含在内），都是占用100个字符的空间的，如果是varchar这样的变长字段，null不占用空间。

可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：

select id from t where num = 0;

5.2.7 慎用in和not in

in和not in要慎用，否则会导致全表扫描，如：

select id from t where num in(1, 2, 3);

对于连续的数值，能用between就不要用in了：

select id from t where num between 1 and 3;

很多时候用exists代替in是一个好的选择：

select num from a where num in (select num from b);

用下面的语句替换：

select num from a where exists (select 1 from b where a.id = b.id);

在使用in或者or等条件进行查询时，MySQL使用eq_range_index_dive_limit参数来判断使用index dive还是使用index statistics方式来进行预估：

①.当低于eq_range_index_dive_limit参数阀值时，采用index dive方式预估影响行数，该方式优点是相对准确，但不适合对大量值进行快速预估。
②.当大于或等于eq_range_index_dive_limit参数阀值时，采用index statistics方式预估影响行数，该方式优点是计算预估值的方式简单，可以快速获得预估数据，但相对偏差较大。

IN是把外表和内表作HASH JOIN，EXISTS是对外表作LOOP，每次循环再对内表进行查询。所以单从时间复杂度上看EXISTS是要比IN快。
可以简单记为，如果两个表差不多大，那么两个关键字差别不大；如果一个小表一个大表，则子查询大表用EXISTS，子查询小表用IN。但要注意，无论何种情况，NOT EXISTS都是要比NOT IN快的，因为前者可以用到索引。

5.2.8 慎用参数

如果在where子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：

select id from t where num = @num;

可以改为强制查询使用索引：

select id from t with(index(索引名)) where num = @num;

六、拓展

6.1 创建索引的注意事项

1. 选择合适的字段创建索引：

  • 不为null的字段：索引字段的数据应该尽量不为null，因为对于数据为null的字段，数据库较难优化。如果字段频繁被查询，但又避免不了为null，建议使用0,1,true,false这样语义较为清晰的短值或短字符作为替代。
  • 被频繁查询的字段：我们创建索引的字段应该是查询操作非常频繁的字段。
  • 被作为条件查询的字段：被作为where条件查询的字段，应该被考虑建立索引。
  • 频繁需要排序的字段：索引已经排序，这样查询可以利用索引的排序，加快排序查询时间。
  • 被经常频繁用于连接的字段：经常用于连接的字段可能是一些外键列，对于外键列并不一定要建立外键，只是说该列涉及到表与表的关系。对于频繁被连接查询的字段，可以考虑建立索引，提高多表连接查询的效率。

2. 被频繁更新的字段应该慎重建立索引。

虽然索引能带来查询上的效率，但是维护索引的成本也是不小的。如果一个字段不被经常查询，反而被经常修改，那么就更不应该在这种字段上建立索引了。

3. 尽可能的考虑建立联合索引而不是单列索引。

因为索引是需要占用磁盘空间的，可以简单理解为每个索引都对应着一颗B+树。如果一个表的字段过多，索引过多，那么当这个表的数据达到一个体量后，索引占用的空间也是很多的，且修改索引时，耗费的时间也是较多的。如果是联合索引，多个字段在一个索引上，那么将会节约很大磁盘空间，且修改数据的操作效率也会提升。

4. 注意避免冗余索引。

冗余索引指的是索引的功能相同，能够命中索引(a, b)就肯定能命中索引(a)，那么索引(a)就是冗余索引。如(name, city)和(name)这两个索引就是冗余索引，能够命中前者的查询肯定是能够命中后者的在大多数情况下，都应该尽量扩展已有的索引而不是创建新索引。

5. 考虑在字符串类型的字段上使用前缀索引代替普通索引。

前缀索引仅限于字符串类型，较普通索引会占用更小的空间，所以可以考虑使用前缀索引带替普通索引。

6.2 使用索引的一些建议

  • 对于中到大型表索引都是非常有效的，但是特大型表的话维护开销会很大，不适合建索引
  • 避免where子句中对字段施加函数，这会造成无法命中索引。
  • 在使用InnoDB时使用与业务无关的自增主键作为主键，即使用逻辑主键，而不要使用业务主键。
  • 删除长期未使用的索引，不用的索引的存在会造成不必要的性能损耗MySQL 5.7可以通过查询sys库的schema_unused_indexes视图来查询哪些索引从未被使用
  • 在使用limit offset查询缓慢时，可以借助索引来提高性能
posted @ 2022-10-31 16:36  夏尔_717  阅读(1214)  评论(0)  编辑  收藏  举报