MySQL8.0新特性

MySql 8 的其他新特性

1. MySQL8新特性概述

MySQL从5.7版本直接跳跃发布了8.0版本 ，可见这是一个令人兴奋的里程碑版本。MySQL 8版本在功能上 做了显著的改进与增强，开发者对MySQL的源代码进行了重构，最突出的一点是多MySQL Optimizer优化 器进行了改进。不仅在速度上得到了改善，还为用户带来了更好的性能和更棒的体验。

1.1 MySQL8.0 新增特性

1. 更简便的NoSQL支持 NoSQL泛指非关系型数据库和数据存储。随着互联网平台的规模飞速发展，传统 的关系型数据库已经越来越不能满足需求。从5.6版本开始，MySQL就开始支持简单的NoSQL存储功能。 MySQL 8对这一功能做了优化，以更灵活的方式实现NoSQL功能，不再依赖模式（schema）。
2. 更好的索引 在查询中，正确地使用索引可以提高查询的效率。MySQL 8中新增了 隐藏索引 和 降序索 引 。隐藏索引可以用来测试去掉索引对查询性能的影响。在查询中混合存在多列索引时，使用降序索引 可以提高查询的性能。
3. 更完善的JSON支持 MySQL从5.7开始支持原生JSON数据的存储，MySQL 8对这一功能做了优化，增加 了聚合函数 JSON_ARRAYAGG() 和 JSON_OBJECTAGG() ，将参数聚合为JSON数组或对象，新增了行内 操作符 ->>，是列路径运算符 ->的增强，对JSON排序做了提升，并优化了JSON的更新操作。
4. 安全和账户管理 MySQL 8中新增了 caching_sha2_password 授权插件、角色、密码历史记录和FIPS 模式支持，这些特性提高了数据库的安全性和性能，使数据库管理员能够更灵活地进行账户管理工作。
5. InnoDB的变化 InnoDB是MySQL默认的存储引擎 ，是事务型数据库的首选引擎，支持事务安全表 （ACID），支持行锁定和外键。在MySQL 8 版本中，InnoDB在自增、索引、加密、死锁、共享锁等方面 做了大量的 改进和优化 ，并且支持原子数据定义语言（DDL），提高了数据安全性，对事务提供更好的 支持。
6. 数据字典 在之前的MySQL版本中，字典数据都存储在元数据文件和非事务表中。从MySQL 8开始新增 了事务数据字典，在这个字典里存储着数据库对象信息，这些数据字典存储在内部事务表中。
7. 原子数据定义语句 MySQL 8开始支持原子数据定义语句（Automic DDL），即 原子DDL 。目前，只有 InnoDB存储引擎支持原子DDL。原子数据定义语句（DDL）将与DDL操作相关的数据字典更新、存储引擎 操作、二进制日志写入结合到一个单独的原子事务中，这使得即使服务器崩溃，事务也会提交或回滚。 使用支持原子操作的存储引擎所创建的表，在执行DROP TABLE、CREATE TABLE、ALTER TABLE、 RENAME TABLE、TRUNCATE TABLE、CREATE TABLESPACE、DROP TABLESPACE等操作时，都支持原子操 作，即事务要么完全操作成功，要么失败后回滚，不再进行部分提交。 对于从MySQL 5.7复制到MySQL 8 版本中的语句，可以添加 IF EXISTS 或 IF NOT EXISTS 语句来避免发生错误
8. 资源管理 MySQL 8开始支持创建和管理资源组，允许将服务器内运行的线程分配给特定的分组，以便 线程根据组内可用资源执行。组属性能够控制组内资源，启用或限制组内资源消耗。数据库管理员能够 根据不同的工作负载适当地更改这些属性。 目前，CPU时间是可控资源，由“虚拟CPU”这个概念来表 示，此术语包含CPU的核心数，超线程，硬件线程等等。服务器在启动时确定可用的虚拟CPU数量。拥有 对应权限的数据库管理员可以将这些CPU与资源组关联，并为资源组分配线程。 资源组组件为MySQL中 北京宏福校区：010-56253825 深圳西部硅谷校区：0755-23060254 上海大江商厦校区：021-57652717 的资源组管理提供了SQL接口。资源组的属性用于定义资源组。MySQL中存在两个默认组，系统组和用户 组，默认的组不能被删除，其属性也不能被更改。对于用户自定义的组，资源组创建时可初始化所有的 属性，除去名字和类型，其他属性都可在创建之后进行更改。 在一些平台下，或进行了某些MySQL的配 置时，资源管理的功能将受到限制，甚至不可用。例如，如果安装了线程池插件，或者使用的是macOS 系统，资源管理将处于不可用状态。在FreeBSD和Solaris系统中，资源线程优先级将失效。在Linux系统 中，只有配置了CAP_SYS_NICE属性，资源管理优先级才能发挥作用。
9. 字符集支持 MySQL 8中默认的字符集由 latin1 更改为 utf8mb4 ，并首次增加了日语所特定使用的集 合，utf8mb4_ja_0900_as_cs。
10. 优化器增强 MySQL优化器开始支持隐藏索引和降序索引。隐藏索引不会被优化器使用，验证索引的必 要性时不需要删除索引，先将索引隐藏，如果优化器性能无影响就可以真正地删除索引。降序索引允许 优化器对多个列进行排序，并且允许排序顺序不一致。
11. 公用表表达式 公用表表达式（Common Table Expressions）简称为CTE，MySQL现在支持递归和非递 归两种形式的CTE。CTE通过在SELECT语句或其他特定语句前 使用WITH语句对临时结果集 进行命名。

基础语法如下： Subquery代表子查询，子查询前使用WITH语句将结果集命名为cte_name，在后续的查询中即可使用 cte_name进行查询。

WITH cte_name (col_name1,col_name2 ...) AS (Subquery)
SELECT * FROM cte_name;

12. 窗口函数 MySQL 8开始支持窗口函数。在之前的版本中已存在的大部分 聚合函数 在MySQL 8中也可以 作为窗口函数来使用。
13. 正则表达式支持 MySQL在8.0.4以后的版本中采用支持Unicode的国际化组件库实现正则表达式操作， 这种方式不仅能提供完全的Unicode支持，而且是多字节安全编码。MySQL增加了REGEXP_LIKE()、 EGEXP_INSTR()、REGEXP_REPLACE()和 REGEXP_SUBSTR()等函数来提升性能。另外，regexp_stack_limit和 regexp_time_limit 系统变量能够通过匹配引擎来控制资源消耗。
14. 内部临时表 TempTable存储引擎取代MEMORY存储引擎成为内部临时表的默认存储引擎 。TempTable存储 引擎为VARCHAR和VARBINARY列提供高效存储。internal_tmp_mem_storage_engine会话变量定义了内部 临时表的存储引擎，可选的值有两个，TempTable和MEMORY，其中TempTable为默认的存储引擎。 temptable_max_ram系统配置项定义了TempTable存储引擎可使用的最大内存数量。
15. 日志记录 在MySQL 8中错误日志子系统由一系列MySQL组件构成。这些组件的构成由系统变量 log_error_services来配置，能够实现日志事件的过滤和写入。
16. 增强的MySQL复制 MySQL 8复制支持对 JSON文档 进行部分更新的 二进制日志记录 ，该记录 使用紧凑 的二进制格式 ，从而节省记录完整JSON文档的空间。当使用基于语句的日志记录时，这种紧凑的日志记 录会自动完成，并且可以通过将新的binlog_row_value_options系统变量值设置为PARTIAL_JSON来启用。

1.2 MySQL8.0移除的旧特性

在MySQL 5.7版本上开发的应用程序如果使用了MySQL8.0 移除的特性，语句可能会失败，或者产生不同 的执行结果。为了避免这些问题，对于使用了移除特性的应用，应当尽力修正避免使用这些特性，并尽 可能使用替代方法。

1. 查询缓存 查询缓存已被移除 ，删除的项有： （1）语句 ：FLUSH QUERY CACHE和RESET QUERY CACHE。 （2）系统变量 ：query_cache_limit、query_cache_min_res_unit、query_cache_size、 query_cache_type、query_cache_wlock_invalidate。 （3）状态变量 ：Qcache_free_blocks、 Qcache_free_memory、Qcache_hits、Qcache_inserts、Qcache_lowmem_prunes、Qcache_not_cached、 Qcache_queries_in_cache、Qcache_total_blocks。 （4）线程状态 ：checking privileges on cached query、checking query cache for query、invalidating query cache entries、sending cached result to client、storing result in query cache、waiting for query cache lock。
2. 加密相关 删除的加密相关的内容有：ENCODE()、DECODE()、ENCRYPT()、DES_ENCRYPT()和 DES_DECRYPT()函数，配置项des-key-file，系统变量have_crypt，FLUSH语句的DES_KEY_FILE选项， HAVE_CRYPT CMake选项。 对于移除的ENCRYPT()函数，考虑使用SHA2()替代，对于其他移除的函数，使 用AES_ENCRYPT()和AES_DECRYPT()替代。
3. 空间函数相关 在MySQL 5.7版本中，多个空间函数已被标记为过时。这些过时函数在MySQL 8中都已被 移除，只保留了对应的ST_和MBR函数。
4. \N和NULL 在SQL语句中，解析器不再将\N视为NULL，所以在SQL语句中应使用NULL代替\N。这项变化 不会影响使用LOAD DATA INFILE或者SELECT...INTO OUTFILE操作文件的导入和导出。在这类操作中，NULL 仍等同于\N。
5. mysql_install_db 在MySQL分布中，已移除了mysql_install_db程序，数据字典初始化需要调用带着-- initialize或者--initialize-insecure选项的mysqld来代替实现。另外，--bootstrap和INSTALL_SCRIPTDIR CMake也已被删除。
6. .通用分区处理程序 通用分区处理程序已从MySQL服务中被移除。为了实现给定表分区，表所使用的存 储引擎需要自有的分区处理程序。 提供本地分区支持的MySQL存储引擎有两个，即InnoDB和NDB，而在 MySQL 8中只支持InnoDB。
7. 系统和状态变量信息 在INFORMATION_SCHEMA数据库中，对系统和状态变量信息不再进行维护。 GLOBAL_VARIABLES、SESSION_VARIABLES、GLOBAL_STATUS、SESSION_STATUS表都已被删除。另外，系 统变量show_compatibility_56也已被删除。被删除的状态变量有Slave_heartbeat_period、 Slave_last_heartbeat,Slave_received_heartbeats、Slave_retried_transactions、Slave_running。以上被删除 的内容都可使用性能模式中对应的内容进行替代。
8. .mysql_plugin工具 mysql_plugin工具用来配置MySQL服务器插件，现已被删除，可使用--plugin-load或- -plugin-load-add选项在服务器启动时加载插件或者在运行时使用INSTALL PLUGIN语句加载插件来替代该 工具。

2. 窗口函数（重点 - over）

2.1 窗口函数分类

MySql 从8.0版本开始支持窗口函数。窗口函数的作用类似于在查询中对数据进行分组，不同的是，分组操作会把分组的结果聚合成一条记录，而窗口函数是将聚合的结果置于每一条数据记录中

窗口函数可以分为 静态窗口函数 和 动态窗口函数。

• 静态窗口函数的窗口大小是固定的，不会因为记录的不同而不同。

• 动态窗口函数的窗口大小会随着记录的不同而变化。

mysql官方窗口函数网站地址：https://dev.mysql.com/doc/refman/8.0/en/window-function-descriptions.html#function_row-number

函数分类	函 数	函数说明
序号函数	row_number()	顺序排序
序号函数	rank()	并列排序，会跳过重复的序号，例如 1,1,3...
序号函数	dense_rank()	并列排序，不会跳过重复的序号，例如 1,1,2...
分布函数	percent_rank()	等级值百分比
分布函数	cume_dist()	累积分布值
前后函数	lag(expr,n)	返回当前行的前n行的expr的值
前后函数	lead(expr,n)	返回当前行的后n行的expr的值
首尾函数	first_value(expr)	返回第一个expr的值
首尾函数	last_value(expr)	返回最后一个expr的值
其他函数	nth_value(expr,n)	返回第n个expr的值
其他函数	ntile(n)	将分区中的有序数据分为n个桶，记录桶

2.2 窗口函数的语法结构

函数 over ([partition by 字段名 order by 字段名 asc|desc])

或者是

函数 over 窗口名 ... window 窗口名 as ([partition by 字段名 order by 字段名 asc|desc])

说明：

• over 关键字指定函数窗口的范围

1. 如果省略后面括号中的内容，则窗口会包括满足 where 条件的所有记录，窗口函数会基于所有满足 where 条件的记录进行计算。
2. 如果 over 关键字后面的括号不为空，则可以使用如下语法设置窗口。

• 窗口名：为窗口设置一个别名，用来识别窗口
• partition by 子句：指定窗口函数按照那些字段进行分组。分组后，窗口函数可以在每个分组中分别执行
• order by 子句：指定窗口函数按照那些字段进行排序。执行排序操作使窗口函数按照排序后的数据记录的顺序进行编号。
• frame 子句：为分区中的某个子集定义规则，可以用来作为滑动窗口使用。

2.3 序号函数

2.3.1 row_number()函数：顺序排序

概述：根据指定的字段进行分区（分组），然后再进行排序,该列使用数值表示顺序

# 根据指定的字段进行分区（分组）然后再进行排序
SELECT 
row_number() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS ROW_ID,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality
# 根据 SAMPLE_POINT_ID 进行分区（分组），然后再根据 DATETIME 排序，使用数字展示顺序

2.3.2 rank() 函数：并列排序，会跳过重复的序号

SELECT 
rank() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS ROW_ID,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality

2.3.3 dense_rank() 函数：并列排序，不会跳过重复的序号（名次排序）

SELECT 
dense_rank() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS ROW_ID,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality

2.4 分布函数

2.4.1 percent_rank() 函数： 等级值百分比（不太懂怎么用）

percent_rank() 函数的计算方式

(rank - 1) / (rows -1 )

SELECT 
rank() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS ROW_ID,
percent_rank() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS pr,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality
WHERE SAMPLE_POINT_ID  = 1516612097076310018

2.4.2 cume_dist() 函数：累积分布值

概述：用于计算表中当前（排序字段）的所在分区的比例。（desc：大于|asc：小于）或等于。

# 用于计算表中小于或等于当前时间的比例。 
SELECT 
rank() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS ROW_ID,
cume_dist() OVER(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) AS cd,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality 

2.5 前后函数

2.5.1 lag(expr,n) 函数 ：返回当前行的前n行的expr的值

概述：根据指定的字段进行分区（分组），然后再根据排序字段排序，该列使用当前行的前n行中的字段的值展示。（适合有前后关系的值，相互之间的计算）

SELECT 
lag(COD,1) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) lag_cod,
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality

2.5.2 lead(expr,n) 函数：返回当前行的后n行的expr的值

概述：根据指定的字段进行分区（分组），然后再根据排序字段排序，该列使用当前行的后n行中的字段的值展示。（适合有前后关系的值，相互之间的计算）

SELECT 
lead(COD,1) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME ASC) lead_cod,
lead(COD,1) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME ASC) - cod value,
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality

说明：该方式可以通过每日的累计值，计算每日的值

例如：通过水厂中的累计进水量，计算出每日进水量是多少？

解决办法：我们可以根据水厂分区（分组），然后使用日期排序，再使用 lead(expr,n)函数，后一天的累计值和当天累计值相减，即可获取。

注意：前后函数-是可以通过排序的方式来改变数据的位置的

2.6 首尾函数

2.6.1 first_value(expr) 函数：返回第一个expr的值

概述：根据指定的字段进行分区（分组），然后再根据排序字段排序，该列使用分区后所有数据行中的第一行中的字段的值展示。（适合数据于数据中的最大最小的值进行计算比对）

SELECT 
first_value(DATETIME) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME ASC) firstValue,
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality;

2.6.2 last_value(expr) 函数：返回最后一个expr的值

概述：根据指定的字段进行分区（分组），然后再根据排序字段排序，该列使用分区后所有数据行中的最后一行中的字段的值展示。（适合数据于数据中的最大最小的值进行计算比对）。当前最后一个值即当前值，则两个值相同；

SELECT 
LAST_VALUE(DATETIME) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME ASC) lastValue,
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality;

注意：首尾函数-是可以通过排序的方式来改变数据的位置的

2.7 其他函数

2.7.1 nth_value(expr,n) 函数：返回第n个expr的值

概述：根据指定的字段进行分区（分组），然后再根据排序字段排序，该列使用第n行中字段的值展示。（指定某个行的数据的值）

SELECT 
NTH_VALUE(DATETIME,2) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME ASC) nthValue,
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality;

2.7.2 ntile(n) 函数：将分区中的有序数据分为n个桶，记录桶

概述：根据指定的字段进行分区（分组），然后再根据排序字段排序，该列根据指定的(桶)值，使用数值的方式对分区内的数据进行动态分组

SELECT 
ntile(3) over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME ASC) ntileValue,
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality;

3. 小结

• 窗口函数的特点是可以分组，而且可以在分组内排序。
• 窗口函数不会因为分组而减少原表中的行数，这很好用呢。
• 聚合函数（sum，avg，count...） 是可以结合 over(..) 一起使用的哦。但是over中分组字段和排序字段必须同一个

SELECT 
row_number() over(PARTITION BY SAMPLE_POINT_ID ORDER BY COD DESC) codValue,
sum(COD) over(PARTITION BY SAMPLE_POINT_NAME ORDER BY SAMPLE_POINT_NAME) codValueS, # 总和函数
avg(COD) over(PARTITION BY SAMPLE_POINT_NAME ORDER BY SAMPLE_POINT_NAME) codValueA, # 平均函数
min(COD) over(PARTITION BY SAMPLE_POINT_NAME ORDER BY SAMPLE_POINT_NAME) codValueM, # 最小函数
max(COD) over(PARTITION BY SAMPLE_POINT_NAME ORDER BY SAMPLE_POINT_NAME) codValueMA, # 最大函数
count(*) over(PARTITION BY SAMPLE_POINT_NAME ORDER BY SAMPLE_POINT_NAME ) codValueC, # 总数函数
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality
# 或者 分区排序简写模式
SELECT 
row_number() over(PARTITION BY SAMPLE_POINT_ID ORDER BY DATETIME DESC) codValue, # 分区（分组）之后，然后排序
sum(COD) over w sumCod, # 总和函数
avg(COD) over w avgCod, # 平均函数
min(COD) over w minCod, # 最小函数
max(COD) over w maxCode, # 最大函数
count(*) over w countCod, # 总数函数
COD,
ID,
DATETIME,
SAMPLE_POINT_NAME
FROM pw_sample_point_water_quality
window w AS (PARTITION BY SAMPLE_POINT_NAME ORDER BY SAMPLE_POINT_NAME)

注意：在使用聚合函数时，分区和排序必须是同一个字段才可以。

4. 思考

• 窗口函数中你最常用的是哪个？
• row_number() 函数，是否可以获取分组最新/最大/最小的数据呢？
• 通过窗口函数可以获取分组中最大/最小的值，那么平均值如何获取呢？

3. 公用表表达式（重点 - with）

公用表表达式（或通用表表达式）简称为 CTE 。cte 是一个命名的临时结果集，作用范围是当前语句。cte可以理解为一个可以复用的子查询，同时cte可以引用其他的cte。

依据语法结构和执行方式的不同，公用表表达式可分为 普通公用表表达式 和 递归公用表表达式。

3.1 普通公用表表达式

普通公用表表达式的语法结构：

with cte名称 (相当于表名)
as (子查询)
select|delete|update 语句;

​ 例如

WITH cte_xld 
AS (SELECT * FROM base_obj_category)
SELECT * FROM base_obj bo LEFT JOIN cte_xld c 
ON bo.OBJ_TYPE = c.id

• 公用表表达式可以起到子查询的作用。以后可以使用公用表表达式替换子查询。
• 跟子查询相比，公用表表达式有一个优点，就是定义过公用表表达式之后的查询，可以像一个表一样多次引用公用表表达式，而子查询不能

3.2 递归公用表表达式 - (重要)

递归公用表表达式也是一种公用表表达式，只不过，除了普通公用表表达式的特点以外，它还有自己的特点，就是 可以调用自己。

递归公用表表达式的语法结构：

with recursive cte名称 (相当于表名) 
as (子查询)
select|delete|update 语句;

例如：

WITH recursive xld_cte
AS
(
    SELECT * FROM base_obj_category WHERE PARENT_ID = 0
    UNION ALL
    SELECT b.* FROM base_obj_category b JOIN xld_cte x ON b.PARENT_ID = x.id
)
SELECT * FROM xld_cte;

再例如：

WITH recursive temp_table
AS
(
    SELECT * FROM tz_group_category where id = 1562252815922159618
    UNION ALL
    SELECT tg.* FROM tz_group_category tg JOIN temp_table tt ON tg.superior_id = tt.id 
)
SELECT * FROM temp_table;

3.3 小结

• 普通公用表表达式的作用是可以替代子查询的，而且可以被多次引用（是真正的表）
• 递归公用表表达式对查询有一个共同根节点的树形结构数据非常高效，可以轻松搞定其他查询方式难以处理的查询。