python中文处理——编码问题

常见的字符编码方式有：Unicode、ASCII、GBK、GB2312、UTF-8。

在计算机内部，所有的信息都被表示为一个二进制的字符串。每一个二进制位有0和1两种状态，一个字节一共可以用来表示256种不同的状态。

ASCII编码就是用来规定英语字符与二进制位之间的对应关系的编码格式，ASCII编码规定了128个字符。英语用128个符号编码就够了，但是其他语言用128个符号表示是不够的。不同语言的字母不同，而像汉语等亚洲国家的文字数目达到数万级别，单字节编码方式没办法表示所有的汉字，因此产生了很多种编码格式，例如简体中文使用的编码方式是GB2312。

为了方便跨语言信息交流，国际组织制定了Unicode字符集，它包含了世界上所有的字符，每种语言任何的一个字符都可以在这个字符集中找到。随着互联网的普及，产生了一种新的编码方式——UTF-8。它是一种变长的编码方式，一个字符可以用1~4个字节表示，不同的符号存储的字节长度不同。

需要注意的是：字符的编码与字符在的存储形式并不等同，Unicode是一个符号集，它只包括了字符的二进制代码，没有规定如何存储字符的二进制代码。虽然utf-8和gb系列的编码都支持中文，但是直接转换会导致乱码，只能通过Unicode作为媒介进行转换。

由于Python2不支持Unicode的处理，在函数调用字符串参数时，要先将中文字符串转化成Unicode对象，在存储数据时采用utf-8编码格式，按照这样的原则可以避免因为编码不统一导致的乱码现象。

结巴分词：由于python默认编码是unicode，而jieba分词输出的是utf-8编码格式，因此需要将字符串进行解码编码操作。读取的语料是GBK编码格式，先用decode方法将文本解码成unicode，去除停用词后用encode方法编码为utf-8格式，jieba分词工具包里面的cut函数会自动把文本分割成一个个词语存储成list结构。