mysql之innodb存储引擎---数据存储结构

一、背景

1.1文件组织架构

首先看一下mysql数据系统涉及到的文件组织架构,如下图所示:

 

 

 msyql文件组织架构图

从图看出:

1、日志文件:slow.log(慢日志),error.log(错误日志),general.log(基本日志)

2、配置文件:my.cnf

3、数据库:performance_schema,mysql,information_schema,sys

4、innodb存储引擎(框中部分),主要包括有:两个日志文件ib_logfile0和ib_logfile1,由参数innodb_log_file_size控制大小,innodb_log_files_in_group控制个数。userdb是用户创建的数据库,其中各有三个表,t1,t2,t3,并分别对应三个.frm文件。但是可以只有一个ibd文件,由参数innodb_file_per_table控制,表示是否启用单独的表空间。其中t1表是单独的表空间,t2和t3使用共享表空间。db.opt是msyql的一些配置信息,如编码,排序等。

1.2 系统表 

 由于msyql是插拔式数据库,分为server层和存储引擎层,server层只有一个,而存储引擎有多种,所以这两者需要相互配合,由于最早的存储引擎MyISAM没有定义系统表,只有.frm文件,导致了后面的存储引擎也没有像Oracle一样查看系统表。其实Innodb有四个系统表:SYS_TABLES,SYS_COLUMNS,SYS_INDEXES,SYS_FILES

SYS_TABLES:存储所有以Innodb为存储引擎的表
SYS_COLUMNS:存储innodb表的所有列
SYS_INDEXES:存储innodb表中的索引信息
SYS_FILES:存储innodb表中索引中定义的所有列

 

 

二、表空间

首先看一下innodb的逻辑存储结构,如图所示:

 

 

 innodb逻辑存储结构

     从innodb逻辑存储结构看,所有的数据都被逻辑的存放在一个空间中,为表空间(tablespace)。表空间又由段(segment)、区(extend)、页(page)组成,页也可以别成为块(block)。

    表空间为innodb存储引擎的存储结构的最高层,所以数据都放在表空间中。默认的表空间为ibdata1。如果设置了参数innodb_file_per_table,则每个表可以cun存放在单独的表空间。只有数据,索引,插入缓冲Bitmap页存放在单独的表空间,回滚信息,插入缓冲索引页,系统事务信息,二次写缓冲还是存放在共享表空间中。

    注意:innodb存储引擎在rollback时去收缩共享表空间,不会回收这些空间,但是会自动判断这些undo页是否还需要,如果不需要,则标记为可用空间,供下次undo页使用。

三、段

   段是表空间文件中的主要组织结构,它是一个逻辑概念,用来管理物理文件,是构成索引、表、回滚段的基本元素。

  上图中显示了表空间是由各个段组成的,常见的段有数据段、索引段、回滚段等。InnoDB存储引擎表是索引组织的(index organized),因此数据即索引,索引即数据。那么数据段即为B+树的页节点(上图的leaf node segment),索引段即为B+树的非索引节点(上图的non-leaf node segment)。

   创建一个索引(B+树)时会同时创建两个段,分别是内节点段和叶子段,内节点段用来管理(存储)B+树非叶子(页面)的数据,叶子段用来管理(存储)B+树叶子节点的数据;也就是说,在索引数据量一直增长的过程中,所有新的存储空间的申请,都是从“段”这个概念中申请的。在内节点分裂时申请新节点就在内节点段申请,在叶子节点分裂时申请新节点,就在叶子段申请。

四、簇/区

     已知一个索引由两个段组成,段是个逻辑概念,innodb引入了簇的概念,在代码中被称为extent;

    簇是段的基本构成单位,一个段可由多个簇构成,一个簇是物理上连续分配的一段空间。每一个段至少会有一个簇,在创建一个段时会创建一个默认的簇。如果存储数据时,一个簇已经不足以放下更多的数据,此时需要从这个段中分配一个新的簇来存放新的数据。一个段所管理的空间大小是无限的,可以一直扩展下去,但是扩展的最小单位就是簇。

   簇的大小是固定的(1M=64*16k)。簇默认是由64个连续的页组成的,每个页大小为16KB。可以通过参数innodb_page_size修改页的大小,这样一个簇中的页的数量必定会增多(必须保证一个簇的大小为1M)

 五、页

    页是簇的组成单位,也是段所管理的最小单位,数据文件管理的最小单位,也是文件空间分配的最小单位。

    在逻辑上(页面号都是从小到大连续的)及物理上都是连续的。在向表中插入数据时,如果一个页面已经被写完,系统会从当前簇中分配一个新的空闲页面处理使用,如果当前簇中的64个页面都被分配完,系统会从当前页面所在段中分配一个新的簇,然后再从这个簇中分配一个新的页面来使用。

常见的页类型有:
数据页(B-tree Node)。
Undo页(Undo Log Page)。
系统页(System Page)。
事务数据页(Transaction system Page)。
插入缓冲位图页(Insert Buffer Bitmap)。
插入缓冲空闲列表页(Insert Buffer Free List)。
未压缩的二进制大对象页(Uncompressed BLOB Page)。
压缩的二进制大对象页(Compressed BLOB Page)

段、簇、页的关系图如下:

 

 段、簇、页关系图

六、段、簇、页组织结构

    一个表空间可以有多个文件,每个文件都有各自的编号,创建一个表空间时,至少有一个文件,这个文件被称为“0号文件”。一个文件是被切割为等长“默认16KB”的块,这个块通常被称为页面,那么在“0号文件”的第一个页面(page_no为0)中,存储了这个表空间中所有段簇也管理的入口,那么在这个页面存储的数据就是16KB,但通常会有页面头信息会占用一些空间,真正的管理信息数据是从页面偏移为fil_page_data(38)的位置开始的,这个位置存储了表空间的描述信息,具体内如如下:

FSP_SPACE_ID:该文件对应的spaceid
FSP_NOT_USED:如其名,保留字节,当前未使用
FSP_SIZE:当前表空间总的PAGE个数,扩展文件时需要更新该值(fsp_try_extend_data_file_with_pages)
FSP_FREE_LIMIT:当前尚未初始化的最小PageNo。从该Page往后的都尚未加入到表空间的FREELIST上。
FSP_SPACE_FLAGS:当前表空间的FLAG信息
FSP_FRAG_N_USED:FSP_FREE_FRAG链表上已被使用的Page数,用于快速计算该链表上可用空闲Page数
FSP_FREE:当一个Extent中所有page都未被使用时,放到该链表上,可以用于随后的分配(空闲簇)
FSP_FREE_FRAG:FREE_FRAG链表的BaseNode,通常这样的Extent中的Page可能归属于不同的segment,用于segmentfragarraypage的分配(半满簇)
FSP_FULL_FRAG:Extent中所有的page都被使用掉时,会放到该链表上,当有Page从该Extent释放时,则移回FREE_FRAG链表(满簇)
FSP_SEG_ID:当前文件中最大SegmentID+1,用于段分配时的segid计数器
FSP_SEG_INODES_FULL:已被完全用满的InodePage链表
FSP_SEG_INODES_FREE:至少存在一个空闲InodeEntry的InodePage被放到该链表上

具体的结构请看图:

InnoDB 表空间page管理

 

  上图中,在InnoDB里链表头称为FLST_BASE_NODE,大小为FLST_BASE_NODE_SIZE(16个字节)。BASE NODE维护了链表的头指针和末尾指针,每个节点称为FLST_NODE,大小为FLST_NODE_SIZE(12个字节)

     表空间控制信息中有:满簇链表,半满簇链表,空闲簇链表,而段的Inode中也有满簇链表,半满簇链表,空闲簇链表,但是他们是不同的,表空间中的链表管理是整个表空间中所有的满簇链表,半满簇链表,空闲簇链表,而段的Inode信息中管理的是属于自己断种的满簇链表,半满簇链表,空闲簇链表,当段申请一个新簇时,如果段上没有空闲簇,这样就会去表空间的簇上找,找到后从相应的链表中摘下来给段所用。

      数据文件的第一个Page类型为FIL_PAGE_TYPE_FSP_HDR,在创建一个新的表空间时进行初始化(fsp_header_init),该page同时用于跟踪随后的256个Extent(约256MB文件大小)的空间管理,所以每隔256MB就要创建一个类似的数据页,类型为FIL_PAGE_TYPE_XDES 。

      XDES Page除了文件头部外,其他都和FSP_HDR页具有相同的数据结构,可以称之为Extent描述页(簇描述页),一个XDES Page最多描述256个Extent每个XDES PAGE最多存储256个XDES Entry,每个Entry占用40个字节(簇描述符),描述64个Page(即一个Extent)格式如下:

XDES_ID:如果该Extent归属某个segment的话,则记录其ID,8个字节
XDES_FLST_NODE:(FLST_NODE_SIZE) 维持Extent链表的双向指针节点,12字节
XDES_STATE:该Extent的状态信息,包括:XDES_FREE,XDES_FREE_FRAG,XDES_FULL_FRAG,XDES_FSEG,4字节
XDES_BITMAP:总共16*8= 128个bit,用2个bit表示Extent中的一个page,一个bit表示该page是否是空闲的(XDES_FREE_BIT),另一个保留位,尚未使用XDES_CLEAN_BIT),16字节

      段由簇构成,段通过三个链表将不同状态的簇连接管理起来,链表是双向的,链表头分别为:FSEG_FREE,FSEG_FULL,FSEG_NOT_FULL,链表节点就是簇,每个簇被一个簇描述符管理。一个簇描述符,占用40B的空间,这些信息是被存储在页面中,这个页称为簇描述页,它存储的内容叫簇描述符。在Innodb中,一个簇描述页默认管理16834个页面,簇的大小默认为64个页,而一个簇描述符为40B,所以一个簇描述页中有16834/64=256个簇。其中256*40B空间用来存储簇描述符,关系图如下:

 

 

    其实第一个簇(其实是第一个页面)只是用来做簇描述页的,没有被加入到表空间的簇链表中,也没有假如段的簇链表中。真正的簇使用是从第二个开始的,实际只有255个簇可以被使用。

整体组织架构图如下:

 

上图描述了表空间、Inode页面、Inode、段、簇、页面之间的关系,也是Innodb文件系统的管理架构图。

 

参考:

《msyql运维内参》

《mysql技术内幕:Innodb存储引擎》

http://mysql.taobao.org/monthly/2016/02/01/

 

    

 

posted @ 2019-09-05 16:33  一寸HUI  阅读(4082)  评论(1编辑  收藏  举报