mysql 编码和汉字存储占用字节问题的探索

MySql 5.5 之前，UTF8 编码只支持1-3个字节，只支持BMP这部分的unicode编码区，BMP是从哪到哪？
基本就是 0000 ~ FFFF 这一区。

从MySQL 5.5 开始，可支持4个字节UTF编码utf8mb4，一个字符最多能有4字节，所以能支持更多的字符集。

utf8mb4 is a superset of utf8

tf8mb4兼容utf8，且比utf8能表示更多的字符。

至于什么时候用，看你做的什么项目了。。。
在做移动应用时，会遇到IOS用户在文本的区域输入emoji表情，如果不做一定处理，就会导致插入数据库异常。

 

MySql 5.0 以上的版本：

1、一个汉字占多少长度与编码有关：

UTF-8：一个汉字 = 3个字节，英文是一个字节
GBK： 一个汉字 = 2个字节，英文是一个字节
2、varchar(n) 表示n个字符，无论汉字和英文，MySql都能存入 n 个字符，仅实际字节长度有所区别。

3、MySQL检查长度，可用SQL语言 SELECT LENGTH(fieldname) FROM tablename 这个命令可以看到各行使用的字节数。

 

mysql版本5.6.32-78.0下面用实际例子来说明问题：

1. 首先创建一张临时用表：

create TEMPORARY table medivac(
    name VARCHAR(10)
); CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

2. 插入一些数据：

INSERT INTO medivac (name) VALUES ('' at line 1
mysql> INSERT INTO medivac (name) VALUES ('a');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO medivac (name) VALUES ('哈');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO medivac (name) VALUES ('\U+1F604');
Query OK, 1 row affected (0.00 sec)

mysql> INSERT INTO medivac (name) VALUES ('哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈');
Query OK, 1 row affected, 1 warning (0.00 sec)

3. 查看表中数据：

mysql> select * from medivac
    -> ;
+--------------------------------+
| name                           |
+--------------------------------+
| a                              |
| 哈                             |
| 😄                               |
| 哈哈哈哈哈哈哈哈哈哈           |
+--------------------------------+

4. 查看占用字节数：

+--------------+
| length(name) |
+--------------+
|            1 |
|            3 |
|            4 |
|           30 |
+--------------+

没什么好说的 一目了然，注意，如果存储超过字段规定的最大字符数，后面存储的东西会被无视，并且曝出一个warning。详见过程2的信息。

 

总结：

1. 一个varchar存汉字需要使用三个字段在utf8和utf8mb4编码表的情况下。
2. 如果需要存储emoji表情的需求，新表的默认编码方式应该写为utf8mb4。另外提一点在最新发布的mysql8.0里面，默认编码方式已经是utf8mb4了。
3. 在utf8和utf8mb4中 varchar(n)这个n是字符，所见即所得，一个a是一个字符一个😄也是一个字符 不过就是a这个字符是1个字节 哈这个字符是3个字节 而😄这个字符是4个字节表示罢了

 

Reference:

https://www.tutorialspoint.com/mysql/mysql-temporary-tables.htm  MySQL Temporary Tables

https://ruby-china.org/topics/24920 MySQL 数据库 varchar 到底可以存多少个汉字，多少个英文呢?我们来搞搞清楚