【杂谈】Unicode,UTF-8等编码方式的小总结
小记:从广东玩回来寒假也差不多快没了,离开学不久,呆在家里太闲了,稍微看了点CSAPP,第二章的show_bytes和旁注,对Unicode和UTF-8,UTF-16这些东西产生了兴趣,原来还没有彻底搞明白这些东西是什么,看了点别人写的博客加之以实践,略有体会,小小的总结一下。
===============================================以下正文================================================
- Unicode是一种字符集,由2个字节构成,从0000 0000 ~7FFF FFF,每个数字代表一个字符。它不是一种编码方式,而是数字与字符对应的统一表。
- UTF-16是对Unicode的直接实现,根据Unicode对每个字符的编码来存储字符,大部分由2个字节构成,超过2个字节用4个字节构成,不兼容ASCII码,它受到大端小端法的影响。
- UTF-8是对Unicode不同方式的实现,利用自己的规则进行编码,优点是使得128个常用字符可以只用1个字节来储存,缺点是存储其他字符需要用到2-6个字节。
因为UTF-16是对Unicode的直接实现,所以对其编码方式没什么好说的,百度百科UTF-8中的一张表吸引了我的兴趣:
Unicode | bit数 | UTF8 | byte数 |
0000 0000 ~
0000 007F
|
0~7 | 0XXX XXXX | 1 |
0000 0080 ~
0000 07FF
|
8~11 |
110X XXXX
10XX XXXX
|
2 |
0000 0800 ~
0000 FFFF
|
12~16 |
1110 XXXX
10XX XXXX
10XX XXXX
|
3 |
0001 0000 ~
001F FFFF
|
17~21 |
1111 0XXX
10XX XXXX
10XX XXXX
10XX XXXX
|
4 |
0020 0000 ~
03FF FFFF
|
22~26 |
1111 10XX
10XX XXXX
10XX XXXX
10XX XXXX
10XX XXXX
|
5 |
0400 0000 ~
7FFF FFFF
|
27~31 |
1111 110X
10XX XXXX
10XX XXXX
10XX XXXX
10XX XXXX
10XX XXXX
|
6 |
UTF-8的编码很巧妙,可以看到,在Unicode值在0000 007F之前UTF-8都和Unicode的第二个数字一样,它只用了1个字节,而这128个字符是最常用的控制符和拉丁文字,相比于UTF-16用2个字节编码,在全英文的状况下是大大节省了空间,http://baike.baidu.com/view/40801.htm可以看到Unicode对不同文字所用的区域。
当超出128个字符时,UTF-8利用2个字节编码,但是,用UTF-8规则读取一段内存的时候如何知道它是用1个字节还是多个字节编码的呢?UTF-8的解决办法是在首字节的开头位用1来标示对于这一个字符需要读取几个字节,如上图所示。当读取到1110 XXXX这个信息后,就知道包括这个字节在内的接下来3个字节包含了一个字符的信息。这种办法的优点在于可以将最常用的字符用1个字节储存减少空间占用,取而代之的其他字符就需要用更多的字节来编码,UTF-16比UTF-8多利用的就是UTF-8前面的标示读取几个字节的位,所谓有得必有失。
利用CSAPP书上的一个例子,可以简单的查看UTF-8的具体编码。
#include <stdio.h> #include <stdlib.h> #include <string.h> typedef unsigned char *byte_pointer; void show_bytes(byte_pointer start, int len) { int i; for (i = 0; i < len; i++) printf(" %.2x", start[i]); printf("\n"); } int main() { const char* s1 = "我我是是超超威威蓝蓝猫猫猫猫"; const char* s2 = "aabbAABB"; show_bytes ( (byte_pointer)s1,strlen(s1)+1); printf("\n\n"); show_bytes ( (byte_pointer)s2,strlen(s2)+1); system("pause"); return 0; }
输出结果是:
e6 88 91 e6 88 91 e6 98 af e6 98 af e8 b6 85 e8 b6 85 e5 a8 81 e5 a8 81 e8 93 9d e8 93 9d e7 8c ab e7 8c ab e7 8c ab e7 8c ab 00
61 61 62 62 41 41 42 42 00
可以看出来“我是超威蓝猫”这几个汉字是用3个字节编码的,而abAB是用2个字节编码的。记得很早以前貌似是小学的计算机课就学过汉字占2个字节,那是在GB编码下的,GB编码专门用于汉字的编码并且兼容ASCII,相比于UTF-8的3个字节的汉字,GB显然减少了空间占用。