索引
索引的出现是为了提高数据查询的效率,就像书的目录一样
索引常见模型
哈希表
以key-value 键值存储数据的结构。需要查寻的值即为key,值对应value。 把值存到数组中,用一个哈希函数把key换算成一个确定的位置,把value放数组的这个位置
多个kdy经过哈希函数的换算会出现同一个值的情况,处理这种情况 拉出一个链表
图中,User2 和User4根据身份证号算出来的值都是N, 但没关系,后面还跟了一个链表。如果你要查ID_card_n2对应的名字步骤是:
1 将ID_card_n2通过哈希函数算出N
2 按顺序遍历,找到User2
注意 图中四个ID_card_n 的值不是递增的,好处是增加新User的速度块,只需向后追加,缺点 因为无序,所以哈希索引做区间查询的速度很慢
所以 哈希表这种结构适用于只有等值查询的场景 如Memcached及其他NoSQL引擎
有序数组
有序数组在等值查询和范围查询场景中的性能都非常优秀。
这里假设身份证号没有重复,这个数组就按照身份证号递增的顺序保存的。这时候你要查ID_card_n2对应的名字,用二分法就可以快速得到
时间复杂度是O(log(N))
t同时 这个索引结构支持范围查询[ID_card_X,ID_card_Y] 区间的User 可以先用二分法找到ID_card_X 或ID_card_x+1 再向后遍历到ID_card_Y 退出循环
这种结构在需要更新数据的时候就比较麻烦,如你在中间插入一个记录,就必须挪动后面的所有记录 成本太高。
所以 有序数组索引只适合静态存储引擎
二叉树
二叉树特点:每个节点左儿子小于父节点,父节点小于右儿子。你要查询ID_card_n2的话,顺序是UserA -- UserC --UserF -- User2
时间复杂度O(Log(N)). 为了维持O(Log(N)) 的查询复杂度,就需要保持这棵树是平衡二叉树。为了做这个保证,更新的时间复杂度也是O(Log(N))
实际上大多数数据库存储并不是二叉树,因为索引不止存在内存中 还要写到磁盘中。想象如果100w节点的平衡二叉树,树高20,一次查询就可能访问20个数据块,
在机械硬盘时代,从磁盘随机读一个数据块需要10ms左右的寻址时间,对于一个100w行的表,如使用二叉树存储 单独访问一个行可能需要20个10ms的时间,很慢
为了让一个查询尽量少的读磁盘,就必须让查询过程访问尽量少的数据块。那么要使用N叉树。 N取决于数据块的大小。
以InnoDB的一个证书字段索引为例,N差不多是1200,树高是4的时候,就可以存1200的3次方个值,约17亿。考虑到树根的数据块总是在内存中,一个10亿行的表上
一个整数字段的索引,查找一个值最多需要访问3次磁盘。其实树的第二层也有很大概率在内存中,那么访问磁盘的平均次数就更少
N叉树读写性能的优点 及适配磁盘的访问模式被广泛用在数据库引擎中。跳表,LSM树等结构也被广泛用于引擎设计中
InnoDB 的索引模型
在InnoDB中,表都是根据主键顺序以索引的形式存放的。这种存储方式的表层位索引组织表。In弄DB 使用了 B+树索引模型,所以数据存储在B+树中
每一个索引在InooDB里对应一颗B+树
假设,我们有一个主键列为ID的表,表中有字段K,并且K上有索引。
表的建表语句是
mysql> create table T( id int primary key, k int not null, name varchar(16), index (k))engine=InnoDB;
表中R1~R5的(ID,K)值分别为(100,1),(200,2),(300,3),(500,5)和(600,6)
根据叶子节点的内容,索引类型分为朱建索引和非主键索引。
朱建索引的叶子节点存的是整行数据,在InnoDB里,主键索引也被称为聚簇索引(clustered index)
非主键索引的叶子节点内容是主键的值。在InnoDB里,非主键索引也被称为二级索引(secondary index)
基于主键索引和普通索引的查询的区别
如果语句是select * from T where ID=500 即主键查询方式 则只需要搜索ID这棵树B+树
如果语句是select * from T where K=5 即普通索引查询方式,则需要先搜索K索引树,得到ID的值为500,再到ID索引树搜索一次,这个过程称为回表。
也就是 基于非主键索引的查询需要多扫描一棵索引树。因此 我们在应用中要尽量使用主键查询
索引维护
B+树为了维护索引有序性 在插入新值时 需要做维护。如插入新行id为700 只需在R5记录后面插入一个新记录。如果新插入id值为400 就需要逻辑上移动后面的数据
空出位置。
如果R5所在数据页已经满了 B+树算法需要申请一个新的数据页,然后挪动部分数据过去,这个过程叫做页分裂。这中情况 性能会收到影响
页分裂操作还影响数据页的利用率,原本放在一个页的数据,现在分到两个页中,整体空间利用率降低大约50%
有分裂就有合并。当相邻两个页由于删除了数据,利用率很低后,会将数据页合并。合并过程就是分裂过程的逆过程
假如表中有一个唯一字段 如字符串类型的身份证号,那应该用身份证号做主键还是用自增字段做主键呢
由于每个非主键索引的叶子节点都是主键的值,如果用身份证号做主键,那么每个二级索引的叶子节点占用约20个字节
而如果用整数做主键,则只需要4个字节,如果是长整型(bigint) 则是8字节
显然 主键长度越小,普通索引的叶子节点就越小,普通索引占用的空间也就越小
所以从性能和存储空间方面考虑,自增主键往往是最合理的选择。
什么场景适合用业务字段直接做主键呢
1只有一个索引,
2该索引必须是唯一索引
这就是电信的kv场景
由于没有其他索引,所以也就不用考虑其他索引的叶子节点大小。
这个时候我们要有限考虑之前提到的“尽量使用主键查询”原则,直接将这个索引设置为主键,就可以避免每次查询需要搜索两棵树