MySQL架构体系介绍

一、MySQL的完整架构体系

MySQL完整的架构体系：

（1）Connectors

指的是不同语言中与SQL的交互。 

（2）Connection Pool

管理缓冲用户连接，线程处理等需要缓存的需求。负责监听对 MySQL Server 的各种请求，接收连接请求，转发所有连接请求到线程管理模块。每一个连接上 MySQL Server 的客户端请求都会被分配（或创建）一个连接线程为其单独服务。而连接线程的主要工作就是负责 MySQL Server 与客户端的通信，接受客户端的命令请求，传递 Server 端的结果信息等。线程管理模块则负责管理维护这些连接线程。包括线程的创建，线程的 cache 等。

（3）Management Serveices & Utilities

系统管理和控制工具。

（4）SQL Interface

接受用户的SQL命令，并且返回用户需要查询的结果。 

（5）Parser

SQL命令传递到解析器的时候会被解析器验证和解析。解析器是由Lex和YACC实现的，是一个很长的脚本。在 MySQL中我们习惯将所有 Client 端发送给 Server 端的命令都称为 query ，在 MySQL Server 里面，连接线程接收到客户端的一个 Query 后，会直接将该 query 传递给专门负责将各种 Query 进行分类然后转发给各个对应的处理模块。

• 将SQL语句进行语义和语法的分析，分解成数据结构，然后按照不同的操作类型进行分类，然后做出针对性的转发到后续步骤，以后SQL语句的传递和处理就是基于这个结构的； 
• 如果在分解构成中遇到错误，那么就说明这个sql语句是不合理的。

（6）Optimizer

查询优化器：SQL语句在查询之前会使用查询优化器对查询进行优化。就是优化客户端请求query，根据客户端请求的 query 语句，和数据库中的一些统计信息，在一系列算法的基础上进行分析，得出一个最优的策略，告诉后面的程序如何取得这个 query 语句的结果。 

（7）Cache和Buffer

查询缓存：主要功能是将客户端提交 给MySQL 的 Select 类 query 请求的返回结果集 cache 到内存中，与该 query 的一个 hash 值 做一个对应。该 query 所取数据的基表发生任何数据的变化之后， MySQL 会自动使该 query 的Cache 失效。在读写比例非常高的应用系统中， Query Cache 对性能的提高是非常显著的。当然它对内存的消耗也是非常大的。 如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据。这个缓存机制是由一系列小缓存组成的。比如表缓存，记录缓存，key缓存，权限缓存等。

（8）存储引擎接口

MySQL区别于其他数据库的最重要的特点就是其插件式的表存储引擎。MySQL插件式的存储引擎架构提供了一系列标准的管理和服务支持，这些标准与存储引擎本身无关，可能是每个数据库系统本身都必需的，如SQL分析器和优化器等，而存储引擎是底层物理结构的实现，每个存储引擎开发者都可以按照自己的意愿来进行开发。 
注意：存储引擎是基于表的，而不是数据库。

总共分为三层

上述三层也可宏观的按下面这个图进行分类：

 Mysql中最核心的是存储层，目前最流行的是INNODB，接下来看下INNODB的结构：

主要分为线程和缓冲池以及数据文件构成，三者的运行机制如图：

二、MySQL逻辑架构

（1）Client
提供连接MySQL服务器功能的常用工具集

（2）Server 
MySQL实例，真正提供数据存储和数据处理功能的MySQL服务器进程

（3）mysql
MySQL服务器守护程序，在后台运行。它管理着客户端请求。mysqld是一个多线程的进程，允许多个会话连接，端口监听连接，管理MySQL实例

（4）MySQL memory allocation:
MySQL的要求的内存空间是动态的，比如 innodb_buffer_pool_size (from 5.7.5), key_buffer_size。每个会话都有独一无二的执行计划，我们只能共享同一会话域内的数据集。

（5）SESSION
为每个客户端连接分配一个会话，动态分配和回收。用于查询处理，每个会话同时具备一个缓冲区。每个会话是作为一个线程执行的

（6）Parser
检测SQL语句语法，为每条SQL语句生成SQL_ID，用户认证也发生在这个阶段

（7）Optimizer
创造一个有效率的执行计划（根据具体的存储引擎）。它将会重写查询语句。比如：InnoDB有共享缓冲区，所以，优化器会首先从预先缓存的数据中提取。使用 table statistics optimizer将会为SQL查询生成一个执行计划。用户权限检查也发生在这个阶段。

（8）Metadata cache
缓存对象元信息和统计信息

（9）Query cache
共享在内存中的完全一样的查询语句。如果完全相同的查询在缓存命中，MySQL服务器会直接从缓存中去检索结果。缓存是会话间共享的，所以为一个客户生成的结果集也能为另一个客户所用。查询缓存基于SQL_ID。将SELECT语句写入视图就是查询缓存最好的例子。

（10）key cache
缓存表索引。MySQL keys是索引。如果索引数据量小，它将缓存索引结构和叶子节点（存储索引数据）。如果索引很大，它只会缓存索引结构，通常供MyISAM存储引擎使用

三、InnoDB存储引擎架构

TABLESPACE

InnoDB存储空间被切分成tablespace,tablespace是一个与多个数据文件相关联的逻辑结构。

Pages

InnoDB最小的数据存储单元被也称作块。默认的页框是16KB,一个页包含多行。
可用页大小: 4kb,8kb,16kb,32kb,64kb
配置变量名 : innodb_page_size，在初始化mysqld时配置。

Extents

一组页组成一个区，InnoDB为了更好的I/O吞吐率，每次读写都是按照区为单位。
一组16KB的页，一个区可以1MB，双写缓冲区（Doublewrite buffer ）每次分配/读/写都是以区为单位。

Segments

4个区构成一个Segments

InnoDB存储引擎特性

• ACID事务支持
• 行锁模式
• 事务REDO&UNDO支持
• 多数据文件
• 逻辑对象结构（InnoDB数据和日志缓冲区）
• InnoDB数据是百分百的具备逻辑结构，数据物理存储。
• InnoDB读取物理数据，创建逻辑结构[Blocks and Rows]
• 逻辑存储称为TABLESPACE。

MyISAM和InnoDB之间的区别

直接通过show engines命令可以查看MySQL支持的存储引擎。也可通过show variables like '%storage_engine%'查看MySQL的当前默认存储引擎。

 

 这里主要对MyISAM和InnoDB进行比较，主要区别如下表：

 

注：MyISAM主要关注性能，因为其查询速度快。

四、关于MySQL的一些文件

MySQL如何安装、如何配置自启动，这里不进行讲述，可自行搜索相关安装教程进行处理。这里主要介绍MySQL的主要配置文件。

①二进制日志log-bin：用于主从复制。

②错误日志log-error：默认关闭，记录严重的警告和错误信息，每次启动和关闭的详细信息等。

③查询日志show-log：默认关闭，记录查询的sql语句，如果开启会降低mysql的整体性能，因为记录日志也是需要消耗系统资源的。

④frm文件：存放表结构。

⑤myd文件：存放表数据。

⑥myi文件：存放表索引。

特别提出MySQL中的重要配置文件：Windows下名为my.ini，Linux下为/etc/my.cnf。对于服务器的调优相关过程都在改配置文件中，需要特别掌握。

五、数据库的工作流程

从数据库架构的三个层面分别介绍数据库的工作流程： 

最上层：客户端连接 

• 连接处理：客户端同数据库服务层建立TCP连接，连接管理模块会建立连接，并请求一个连接线程。如果连接池中有空闲的连接线程，则分配给这个连接，如果没有，在没有超过最大连接数的情况下，创建新的连接线程负责这个客户端。 
• 授权认证：在真正的操作之前，还需要调用用户模块进行授权检查，来验证用户是否有权限。通过后，方才提供服务，连接线程开始接收并处理来自客户端的SQL语句。

核心服务：

• 连接线程接收到SQL语句之后，将语句交给SQL语句解析模块进行语法分析和语义分析。
• 如果是一个查询语句，则可以先看查询缓存中是否有结果，如果有结果可以直接返回给客户端。
• 如果查询缓存中没有结果，就需要真的查询数据库引擎层了，于是发给SQL优化器，进行查询的优化。如果是表变更，则分别交给insert、update、delete、create、alter处理模块进行处理。

数据库引擎层

• 打开表，如果需要的话获取相应的锁。 
• 先查询缓存页中有没有相应的数据，如果有则可以直接返回，如果没有就要从磁盘上去读取。
• 当在磁盘中找到相应的数据之后，则会加载到缓存中来，从而使得后面的查询更加高效，由于内存有限，多采用变通的LRU表来管理缓存页，保证缓存的都是经常访问的数据。

最后，获取数据后返回给客户端，关闭连接，释放连接线程。