02字符编码

4. Unicode 的问题

​ 需要注意的是，Unicode 只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。

​ 比如，汉字 “严” 的 Unicode 是十六进制数 4E25，转换成二进制足足有 15 位（100111000100101），也就是说，这个符号的表示至少需要 2 个字节。表示其他更大的符号，可能需要 3 个字节或者 4 个字节，甚至更多。

​ 这里就有两个严重的问题，第一个问题是，如何才能区分 Unicode 和 ASCII ？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果 Unicode 统一规定，每个符号都用三个或四个字节表示，那么每个英文字母前必须有而到三个字节是 0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。

​ 它们造成的结果是：

• 出现了 Unicode 的多种存储方式，也就是说有许多中不同的二进制格式，可以用来表示 Unicode。
• Unicode 在很长一段时间内无法推广，知道互联网的出现。

5. UTF-8

​ 互联网的普及，强烈要求出现一种统一的编码方式。UTF-8 就是互联网上使用最广泛的一种 Unicode 的实现方式。其他实现方式还包括 UTF-16（字符用两个字节或四个字节表示）和 UTF-32（字符用四个字节表示），不过在互联网上基本都不用。重复一遍，这里的关系是，UTF-8 是 Unicode 的实现方式之一。

​ UTF-8 最大的一个特点，就是它是一种变长的编码方式。它可以使用 1~4 个字节表示一个符号，根据不同的符号而变化字节长度。

​ UTF-8 的编码规则很简单，只有两条：

• 对于单字节的符号，字节的第一位设置为 0，后面 7 位位这个符号的 Unicode 码。因此对于英语字母，UTF-8 编码和 ASCII 码是相同的。

• 对于 n 字节的符号（n > 1），第一个字节的前 n 位都设为 1，第 n + 1 位设为 0，后面字节的前两位一律设为 10。剩下的没有提及的二进制位，全部为这个符号的 Unicode 码。

下表总结了编码规则，字母 x 表示可用编码的位。

Unicode 符号范围（十六进制）	Unicode 符号范围（十进制）	UFT-8 编码方式（二进制）
0000 0000 ~ 0000 007F	0 ~ 127	0xxxxxxxx
0000 0080 ~ 0000 07FF	128~2047	110xxxxx 10xxxxxx
0000 0800 ~ 0000 FFFF	2048~65535	1110xxxx 10xxxxxx 10xxxxxx
0001 0000 ~ 0010 FFFF	65536~1114111	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

​ 根据上表，解读 UTF-8 编码非常简单。如果一个字节的第一位是 0，则这个字节单独就是一个字符；如果第一位是 1，则连续有多个 1，就表示当前字符占用多少个字节。

​ 下面，以汉字 “严” 为例，演示如何实现 UTF-8 编码。

​ “严” 的 Unicode 是 4E25（100 1110 0010 0101），即需要至少 15 个位存放。根据上表发现 4E25 处于第三行范围内（0000 0800 ~ 0000 FFFF）,因此 “严” 的 UTF-8 编码需要三个字节，即格式是 1110xxxx 10xxxxxx 10xxxxxx，共有16个位可供使用。然后从 “严” 的最后一个二进制位开始，一次从后向前填入格式中的 x，多出的位补 0。这样就得到了 “严” 的 UTF-8 编码是 11100100 10111000 10100101，转换成十六进制就是 E4B8A5。

6. Unicode 与 UTF-8 之间的转换

​ 通过上一节的例子，可以看到 “严” 的 Unicode 码是 4E25，UTF-8 编码是 E4B8A5，两者是不一样的。他们之间的转换可以通过程序实现。

​ Windows 平台，有一个最简单的转换方法，就是使用内置的记事本小程序 notepad.exe。打开文件后，点击 “文件” 菜单中的 ”另存为“ 按钮，会跳出一个 ”编码“ 的下拉条。

​ 里面有四个选项： ANSI、Unicode 、Unicode big endian 和 UTF-8。

• ANSI 是默认的编码方式。对英文文件是 ASCII 编码，对于简体中文文件是 GB2312 比编码（只针对 Windows 简体中文版，如果是繁体中文版会采用 Big5 码）。

• Unicode 编码这里指的是 notepad.exe 使用的 USC-2 编码方式，即直接用两个字节存入字符的 Unicode 码，这个选项用的 little endian 格式。

• Unicode big endian 编码与上一个选项对应。在下一节会解释 little endian 和 big endian 的含义。

• UTF-8 编码，就晒上一节谈到的编码方法。
  选择 “编码方式” 后，点击 “保存” 按钮，文件的编码方式就立刻转换好了。

7. Little endian 和 Big endian

​ 上一节已经提到，USC-2 格式可以存储 Unicode 码（码点不超过 0xFFFF）。以汉字 “严” 为例，Unicode 码是 4E25，需要用两个字节存储，一个字节是 4E，另一个字节是 25。存储的时候，4E 在前，25 在后，这就是 Big endian 方式；25 在前，4E 在后，这是 Little endian 方式。

/*地址*/				0x0000			0x0001
/*big-endian*/		   0x4E			   0x25
/*litttle-endian*/      0x25		    0x4E

​ 这两个古怪的名称来自英国作家斯威夫特的《格列佛游记》。在该书中，小人国里爆发了内战，战争起因是人们争论，吃鸡蛋时究竟是从大头（Big-endian）敲开还是从小头（Little-endian）敲开。为了这件事情，前后爆发了六次战争，一个皇帝送了命。另一个皇帝丢了王位。

​ 第一个字节在前，就是 “大头方式” （Big endian）,第二个字节在前就是 “小头方式” （Little endian）。

​ 那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？

​ Unicode 规范定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做 ”零宽度非换行空格“ （zero width no-break space），用 FE 和 FF 表示。这正好是两个字节，而且 FF 比 FE 大 1。

​ 如果一个文本文件的头两个字节是 FE FF，就表示该文件采用大头方式；如果头两个字节是 FF FE，就表示该文件采用小头方式。

8. 示例

​ 打开"记事本"程序 notepad.exe，新建一个文本文件，内容就是一个 严 字，依次采用` ANSI ， Unicode ， Unicode big endian 和 UTF-8 编码方式保存。

然后，用文本编辑软件 UltraEdit 中的"十六进制功能"，观察该文件的内部编码方式。

（1）ANSI ：文件的编码就是两个字节 D1 CF，这正是 “严” 的 GB2312 编码，这也暗示 GB2312 是采用大头方式存储的。

（2）Unicode：编码是四个字节 FF FE 25 4E，其中 FF FE 表示是小头方式存储，真正的编码是 4E25。

（3）Unicode big endian: 编码是四个字节 FE FF 4E 25，其中 FE FF 表明是大头方式存储。

（4）UTF-8：编码是六个字节 EF BB BF E4 B8 A5，前三个字节 EF BB BF 表示这是 UTF-8 编码，后三个 E4B8A5 就是 “严” 的具体编码，它的存储顺序与编码顺序是一致的（即都是大端字节序）。