openGauss源码解析（34）
openGauss源码解析：存储引擎源码解析（2）
4.2 磁盘引擎
磁盘引擎是数据库系统中最常用的存储引擎，openGauss提供不同存储格式的磁盘引擎来支持大容量（数据量大于内存空间）场景下的OLTP、OLAP和HTAP（hybrid transactions and analytics processing，混合交易和分析处理）业务。本节主要介绍openGauss数据库内核中磁盘引擎的实现方式。
4.2.1 磁盘引擎整体框架及代码概览
磁盘引擎的整体框架如图4-1中所示。根据与上层SQL引擎之间交互的数据结构类型，可以分为行存储格式和列存储格式。这两种数据格式共用相同的事务并发控制、日志系统、持久化和故障恢复、主备系统。
在此基础之上，行存储格式内部设计为可以支持多种不同子格式的可扩展架构。不同行存储子格式之间共用相同的行存储统一访存接口（table access method）、共享缓冲区、索引机制等。当前仅支持追加写优化的astore子格式，后续计划支持写优化的ustore子格式以及面向其他场景优化的其他子格式。另一方面，在openGauss行存储格式中，对同一行数据的写-写查询冲突通过两阶段锁协议来实现并发控制（参见第5章中关于行级锁的介绍），对同一行数据的读-写查询冲突通过行级多版本技术来实现互不阻塞的、高效的并发控制。对于不同的行存储子格式，可能采用不同的行级多版本实现方式，从而也会引入不同的、清理历史版本的空闲空间管理和回收机制。
磁盘引擎的主要功能模块和代码分布如表4-4所示。
表4-4 磁盘引擎功能模块
功能模块名 | 说明 |
|---|---|
行存储统一访存管理 | 向上对接SQL引擎，提供对行存储表各类访存操作的抽象接口，包括：行级查询、插入、删除、修改等操作接口；向下根据行存储表实际的行存储子格式，调用与子格式对应的具体访存操作实现 代码主要在“src/gausskernel/storage/access/table”目录下 |
astore访存管理 | 提供astore行存储格式表的具体访存操作实现，包括：对astore堆表的行级查询、插入、删除、修改等操作接口；astore堆表行级多版本机制和元组可见性判断；根据astore堆表页间、页内结构，以及astore堆表元组结构，完成对astore堆表文件的遍历和增删改查操作 代码主要在“src/gausskernel/storage/access/heap”目录（单表文件管理）和“src/gausskernel/storage/access/hbstore”目录（段页式文件管理）下 |
astore堆表/索引表页面结构 | 包括astore堆表/索引表元组在页面内的具体组织形式，在页面内插入元组操作、页面整理操作、页面初始化、页面加解密、页面CRC（cyclic redundancy check，循环冗余码校验）校验操作等 代码主要在“src/gausskernel/storage/access/redo/bufpage.cpp”文件、“redo_bufpage.cpp”文件和对应头文件中 |
astore堆表元组结构 | 包括astore堆表元组的结构、填充、解构、修改、字段查询、变形、压缩、解压等操作 代码主要在“src/gausskernel/storage/access/common/heaptuple.cpp”文件和对应头文件中 |
行存储索引访存管理 | 向上对接SQL引擎，提供对索引表的行级查询、插入、删除等操作接口；向下根据索引表页间、页内结构，以及索引表元组结构，完成对指定索引键的查找和增删操作 索引访存层抽象框架代码在“src/gausskernel/storage/access/index”目录下，每种索引结构具体对应的实现代码在同级的gin目录、gist目录、hash目录、nbtree目录、spgist目录 |
行存储索引表元组结构 | 包括行存储索引表元组的结构、填充、解构、拷贝等操作 代码主要在“src/gausskernel/storage/access/common/indextuple.cpp”文件和对应头文件中 |
行存储共享缓冲区管理 | 包括共享缓冲区的结构、页面查找方式、页面淘汰方式等 代码主要在“src/gausskernel/storage/buffer”目录下 |
行存储介质管理器管理和堆表/索引表文件管理 | 包括几种主要介质操作的抽象接口以及几种主要的、基于磁盘文件系统的堆表/索引表文件操作接口 代码在“src/gausskernel/storage/smgr”目录下 |
cstore访存管理 | 向上对接SQL引擎，提供对cstore列存储表的向量数组（vector batch）粒度的查询、插入、删除、修改等操作接口；向下根据cstore列存储表CU间、CU内结构，完成对cstore列存储表文件的遍历和增删改查操作；cstore列存储表CU内和CU间的多版本并发控制和可见性判断 代码主要在“src/gausskernel/storage/cstore”目录下的cstore_系列文件中 |
cstore索引访存管理 | 向上对接SQL引擎，提供对cstore索引表的向量数组粒度的查询、插入等操作接口；向下根据cstore索引表组织结构，完成对指定索引键的查询和插入等操作 代码主要在“src/gausskernel/storage/access/cbtree”目录（cstore列储存B-Tree索引）下和“src/gausskernel/storage/access/psort”目录（cstore列存储psort索引）下 |
cstore列存储表 CU结构 | ➀ 和行存不同，cstore列存储表与外存的I/O单元为CU。该部分主要包括CU的内部结构、CU的填充和压缩等操作 ➁ 代码在“src/gausskernel/storage/cstore/cu.cpp”文件中 |
cstore列存储表 CU只读共享缓冲区管理 | 包括以CU为单位的只读共享缓冲区的结构、查找、淘汰等 代码主要在“src/gausskernel/storage/cmgr”目录下 |
cstore列存储表 CU持久化介质模块 | 包括以CU为粒度的、基于磁盘介质的cstore列存储表文件外存I/O操作 代码在“src/gausskernel/storage/cstore/custorage.cpp”文件中 |
预写日志共享缓冲区和文件管理 | 包括日志记录格式、日志页面格式、日志文件格式、日志插入、日志写入磁盘、日志缓冲区管理、日志归档、日志恢复等操作 代码在“src/gausskernel/storage/access/transam/xlog”系列文件中 |
检查点和故障恢复管理 | 包括页面淘汰算法和检查点推进算法、双写刷盘（写入磁盘）、页面故障恢复等 代码主要分布在“src/gausskernel/process/postmaster/pagewriter.cpp”、“src/gausskernel/process/postmaster/bgwriter.cpp”、“src/gausskernel/storage/access/transam/double_write.cpp”、“src/gausskernel/storage/access/transam/xlog.cpp”、对应头文件和“src/gausskernel/storage/access/redo”目录 |
事务管理和并发控制 | 包括锁管理、事务提交流程、快照维护、提交时间戳维护、可见性判断等 代码主要在“src/gausskernel/storage/access/transam”目录下 该部分内容较为复杂，在第5章单独介绍 |
事务提交日志SLRU（Simple Least Recently Used，简单最近最少使用）共享缓冲区和文件管理 | 包括事务提交日志的页面格式、读写操作、SLRU缓存算法、清理操作等，与事务管理模块一起介绍 |
事务提交时间戳日志SLRU共享缓冲区和文件管理 | 包括事务提交日志（CSNLOG）的页面格式、读写操作、SLRU缓存算法、清理操作等，与事务管理模块一起介绍 |
关键控制文件管理 | 主要包括控制文件、根系统表文件等关键文件的读、写操作 代码分布较广 |
在上述模块基础之上，openGauss磁盘引擎还包括CU压缩、外表、批量导入等功能，代码分布在“src/gausskernel/storage/cstore/compression”、“src/gausskernel/storage/access/dfs”、“src/gausskernel/storage/bulkload”等目录下。
openGauss磁盘引擎的关键技术整体来说包括：
