mysql 底层数据存储结构
内存和磁盘每次交互都是完整的页,数据页里面存放的是行(不仅仅是数据库的数据行,还有行格式等)
页(16k,计算机与内存的最小单位)的上层单位还有区(一个区存放64个页,64*16k = 1024k,刚好 1M),区上面是段(一个或多个区组成),段上面是表空间(一个或多个段组成)
行格式
show table status like 't_user\G'
查看 t_user 表的行格式- 创建表的时候可以指定行格式,
create table (...) row_format = compact
- Compact:紧凑型,默认
- 变长字段列表:比如 varchar(255) 存姓名 '张三',其实只是用了 6 个字节长度。这个会记录下来
- null 值列表:可以为 null 并且实际也是 null 的字段列表。比如一条数据是:1, null, null, 13,null 什么都不是存不了,可以用一个特殊的符号来表示,但是每个 null 都用一个特殊的符号来代替,不节省空间,所以把 null 专门标识出来,在真实数据中就不存 null 列的值了。有 非空 约束或者主键等就会忽略,如果一个表中没有可以为空的字段,那么这个表的行格式中就没有 null 值列表
- 真实数据:1,数据库的行;2:row_id,3:事务ID,4:回滚指针(2,3,4 都是隐藏列)
- 记录头信息:里面有 delete_mask(是否删除),next_record(下一条数据指向)等等
- Dynamic(动态型),Compressed(压缩型)
- 表字段 varchar 最长是 65535,如果真的这样去设置字段长度约束的话会报错,因为还要存别的信息(两个字节存储变长字段,1个字节存储 null 标识,所以一个字段长度最多只能设置为 65532。如果设置非空约束,那么极限长度是 65533)
- 一个数据页16k,16*1024=16384 个字节,如果一个 varchar 字段长度设置为 65532,这个数据页肯定存放不下,这就是行溢出。行溢出的时候,该字段只存储部分长度(和别的页中剩下的内容地址),别的字节存储在别的页中
- Dynamic,Compressed,Compact 的行格式的区别就是行溢出的时候不同
- Redudant:冗余型,这是 MySQL5.0 之前 的格式。没有 null 值列表,冗余了 null
页
- 文件头和文件尾(File Header,File Trailer)
- File Header:当前页编号,下一页/上一页指针(维护页的双向链表),校验和等信息
- 文件头和文件尾都有校验和,头和尾的校验和是一致的,数据才是完整的。比如数据在同步的时候,刷盘(内存数据写入磁盘)或者集群同步的时候,页的数据是从上往下写入,头的校验和等于尾的校验和才算一致,这个页才算同步成功。有可能刷盘的途中宕机,数据页的头和尾的的校验和就可能不相等
- 文件头和文件尾也都有 LSN 值,作用和校验和相同,也是校验数据页是否完整
- 页头和页目录(Page Header,Page Directory)
- B+Tree 聚簇索引中目录页记录的不是每个主键,而是最大的主键(这个就是Page Directory存储的)
- Page Header:本页的记录数量(包括删除的),当前页在所引树的层级等等
- 用户记录,最小最大记录和空闲空间(User Records,Infimum/Supermum,Free space)
- User Records:放的是数据库的一行行数据(按照行格式存放),数据是单链表。行格式作用之一就是用来维护这个单链表的;行格式作用之二是怎么把数据库行存在到页上(弄清楚行格式的每个属性就能知道数据究竟是怎么存放的,垃圾链表,可重用空间)
- Free space:总大小就这么多,用户记录占用空间越大,空闲空间就越小
- Infimum/Supermum:最小指向数据库数据行的最小记录,最大的指向最大(这俩不是数据库的记录,数据记录的链表是行格式来维护,别搞混了)
区
- 既然内存与磁盘交互的最小单位是页,索引也是这样存的,为什么还需要区的概念呢?
- 数据页是连续的,单向链表,效率始终没有数组快(链表逻辑上是连续的,内存中不是连续的),如果数据页能连续就好了,但是这是达不到的,不可能内存总是连续的
- 不能保证每个数据页是连续的,一块内存连续这个是可以做到的,这就是区的作用
- 总结就是某些区的数据页是连续的(顺序I/O,随机I/O)
- 区也是双向链表
段
- 叶子节点和非叶子节点分开存储(一个索引会有两个段)
- 数据都在叶子节点上,如果没有段的概念要范围查找,有可能会到不同的区才能查到
- 叶子节点叫数据段,目录页节点(非叶子节点)叫索引段。还有回滚段(回滚段没在索引上)等
碎片区
-
属于表空间不属于段,完整的区才属于段
-
一个索引会有两个段,每个段至少一个区,一个区至少 1M
-
如果一个表只有几条数据,也会至少占用 2M 内存(因为一定会有聚簇索引),如果还创建别的索引就太浪费空间了
-
碎片区就是存储零散的数据,不同的数据页共用一个区
表空间
- 最上层存储结构,所有数据都在表空间中
- 可以分为系统表空间,独立标空间,撤销表空间,临时表空间
- 独立表空间(5.6版本之后默认)
- 一个表独占的表空间
- 默认 96k,6 个数据页(MySQL8.0是 112 k,会多一个页,因为8.0把 .frm 和 .idb 文件二合一了),随着数据增大空间也会增大
- 系统表空间
- 存放系统相关的东西,比如数据字典
- 数据字典:比如插入数据的时候如果某个字段有非空约束,我们给这个字段设置为空时就会报错,就是因为先查询系统表空间发现不满足插入条件而抛出的
空间分配过程
- 刚开始插入数据的时候,肯定会创建索引,索引就肯定会有两个段
- 初始占用空间很小,不会单独分配一个区,而是使用碎片区(直属于表空间)
- 当某个段已经占用 32 个碎片区之后,就会申请完整的区来存储