字符编码总结

字符编码精华总结

文件或字符串乱码相信大家都没少遇到, 今天主要就来搞清楚字符串的编码到底是怎么一回事.

首先, 我们放把自己置空, 假设现在从来没有字符编码, 刚有一台计算机产生, 让我们来设计一套方案, 目标是让在计算机屏幕上看到我们平时所书写的字符. 你会怎么做?

1 编码的本质

详细的思考过程, 不再详述, 只做大概的说明如下:

选定 Character Set

首先要确定「我们平时所书写的字符」, 到底都包括哪些字符, 也就是说, 要确定我们到底要对哪些字符进行处理. 这里选定的字符集合叫做 Character Set 又叫 Character Repertoire.

规定 Coded Character Set

对于已经选定的 Character Set, 我们需要给他们进行编号, 每个字符给一个编号, 也就是字符集合到一个整数集合的映射. 这个映射就叫做 Coded Character Set, 又叫 CCS.

实现 Character Encoding

前两步所做的选定和规定操作都是纯数学或纯逻辑上的, 跟计算机仍没任何联系. 在这一步, 就需要将之前规定好的编号给弄进计算机中. 因为编号已经是数字了, 数字存储为二进制没什么问题. 这里只有一个问题需要注意: 存储编号的时候使用多少字节? 比如说, 某字符已经在第二步规定好了编号1, 在内存中存储的时候, 是使用0x01 还是使用 0x00 01 ?

以大家熟知的ASCII字符集和编码做为示例, 流程图如下:

2 各种使用中的编码

如上节所述, 编码的本质, 就是把字符进行映射, 然后将映射后的数值进行存储.

尽管各种编码格式在历史上层出不穷, 但上面的本质始终不变. 各编码格式的区别在于:

对于所选定的字符集的不同. (ASCII, GBK, Big5, Unicode)
对于选定的字符集进行编号时的不同. (即便有些向下兼容的编码, 仍会有些字符编码不一样)
对于编号进行计算机存储时使用字节数的不同. (UTF-8, UTF-16, UTF-32)

各编码在上面各种情况下的详细区别示例, 大家可以参看Wikipedia和文末的参考链接, 这里不再赘述.

3 Python中的编码

对应到大家平时的使用上, 第一步基本上我们做不了太多的选择, 主要是第二步和第三步.

第二步到第三步的编码, 在编程里对应的就是 Encode 过程;

第三步到第二步的解码, 在编程里对应的就是 Decode 过程.

关于Python字节流和Unicode对象之间转换的详细示例, 可参考Python编码和Unicode

UTF-8和Unicode的关系

看完上面两个概念解释，那么解释UTF-8和Unicode的关系就比较简单了。Unicode就是上文中提到的编码字符集，而UTF-8就是字符编码，即Unicode规则字库的一种实现形式。随着互联网的发展，对同一字库集的要求越来越迫切，Unicode标准也就自然而然的出现。它几乎涵盖了各个国家语言可能出现的符号和文字，并将为他们编号。详见：Unicode on Wikipedia。Unicode的编号从0000开始一直到10FFFF共分为16个Plane，每个Plane中有65536个字符。而UTF-8则只实现了第一个Plane，可见UTF-8虽然是一个当今接受度最广的字符集编码，但是它并没有涵盖整个Unicode的字库，这也造成了它在某些场景下对于特殊字符的处理困难（下文会有提到）。

3.Unicode

正如上一节所说，世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。为什么电子邮件常常出现乱码？就是因为发信人和收信人使用的编码方式不一样。

可以想象，如果有一种编码，将世界上所有的符号都纳入其中。每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。

Unicode当然是一个很大的集合，现在的规模可以容纳100多万个符号。每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，U+4E25表示汉字"严"。具体的符号对应表，可以查询unicode.org，或者专门的汉字对应表。

4. Unicode的问题

需要注意的是，Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定这个二进制代码应该如何存储。

比如，汉字"严"的unicode是十六进制数4E25，转换成二进制数足足有15位（100111000100101），也就是说这个符号的表示至少需要2个字节。表示其他更大的符号，可能需要3个字节或者4个字节，甚至更多。

这里就有两个严重的问题，第一个问题是，如何才能区别Unicode和ASCII？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果Unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储来说是极大的浪费，文本文件的大小会因此大出二三倍，这是无法接受的。

它们造成的结果是：1）出现了Unicode的多种存储方式，也就是说有许多种不同的二进制格式，可以用来表示Unicode。2）Unicode在很长一段时间内无法推广，直到互联网的出现。

5.UTF-8

互联网的普及，强烈要求出现一种统一的编码方式。UTF-8就是在互联网上使用最广的一种Unicode的实现方式。其他实现方式还包括UTF-16（字符用两个字节或四个字节表示）和UTF-32（字符用四个字节表示），不过在互联网上基本不用。重复一遍，这里的关系是，UTF-8是Unicode的实现方式之一。

UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

将UTF-8字节流切片的问题

因为一个UTF-8编码串是一个字节列表，len( )和切片操作无法正常工作。首先用我们之前用的字符串。

1	[ 97 ] [ 98 ] [ 99 ] [ 226 ] [ 128 ] [ 147 ] = "abc–"

接下来做以下的：

>>> my_utf8 = "abc–"

>>> print len(my_utf8)

神马？它看起来是4个字符，但是len的结果说是6。因为len计算的是字节数而不是字符数。

1 2	>>> print repr(my_utf8) 'abc\xe2\x80\x93'

现在我们来切分这个字符串。

1 2	>>> my_utf8[-1] # Get the last char '\x93'

我去，切分结果是最后一字节，不是最后一个字符。

为了正确的切分UTF-8，你最好是解码字节流创建一个Unicode对象。然后就能安全的操作和计数了。

>>> my_unicode = my_utf8.decode("utf-8")

>>> print repr(my_unicode)

u'abc\u2013'

>>> print len(my_unicode)

>>> print my_unicode[-1]

–

引子：bytes/str之别

Python 3最重要的新特性大概要算是对文本和二进制数据作了更为清晰的区分。文本总是Unicode，由str类型表示，二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes，正是这使得两者的区分特别清晰。你不能拼接字符串和字节包，也无法在字节包里搜索字符串（反之亦然），也不能将字符串传入参数为字节包的函数（反之亦然）。这是件好事。

不管怎样，字符串和字节包之间的界线是必然的，下面的图解非常重要，务请牢记于心：

字符串可以编码成字节包，而字节包可以解码成字符串。

这个问题要这么来看：字符串是文本的抽象表示。字符串由字符组成，字符则是与任何特定二进制表示无关的抽象实体。在操作字符串时，我们生活在幸福的无知之中。我们可以对字符串进行分割和分片，可以拼接和搜索字符串。我们并不关心它们内部是怎么表示的，字符串里的每个字符要用几个字节保存。只有在将字符串编码成字节包（例如，为了在信道上发送它们）或从字节包解码字符串（反向操作）时，我们才会开始关注这点。

复习一下，我们有五个不可忽视的事实: