python2.7编码与解码

常见的编码
　　ASCII: 美国人发明的，只编码英文字母和符号，1个字节。
　　GB2312: 中国人发明的，增加了中文汉字和符号，2个字节。
　　Unicode: 为了把所有语言都统一到一套编码里，一般是2个字节，生僻字4个字节。
　　UTF-8： 为了节省英文字符内存空间，UTF-8可变长编码，常用的英文字母被编码成1个字节，汉字通常是3个字节，生僻的字符编码成4-6个字节。

>>> S = '中文'
>>> print type(S), len(S)
<type 'str'> 4

>>> unicodeS = u'中文'
>>> print type(unicodeS), len(unicodeS)
<type 'unicode'> 2

>>> utfS = u'中文'.encode('utf-8')
>>> print type(utfS), len(utfS)
<type 'str'> 6

　　在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码，这样可以节省很多存储空间。

　　 其中，python2和python3系统默认编码分别是ascii和utf-8，以python2.7为例：

>>> import sys
>>> sys.getdefaultencoding()
'ascii'

>>> a = 'hello'
>>> print type(a)
<type 'str'>
>>> b = a.decode('ascii')
>>> print type(b)
<type 'unicode'>
>>> c = a.decode('ascii').encode('utf-8')
>>> print type(c)
<type 'str'>

　　然而python2.7中，比较麻烦的还是有两种数据模型来支持字符串这种数据类型，str和unicode（python3改进后只有unicode一种)，比如s = '中文'就是str类型的字符串，而u=u"中文"就是一个unicode类型的字符串。unicode是由str类型的字符串解码后得到，unicode也可以编码成str类型。即

　　str --> decode -->unicode
　　unicode --> encode --> str

　　在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
　　注：Unicode 格式：像\u0000;二进制编码 格式：像\x00\x00，其中utf-8,gbk就是二进制编码;

>>> s1 = u'中文'
>>> type(s1)
<type 'unicode'>
>>> s2 = 'ABC'
>>> type(s2)
<type 'str'>

#字符串转码成unicode对象
>>> u'ABC'
u'ABC'
>>> u'中文'
u'\u4e2d\u6587'

#英文字符串编码成utf8格式
>>> 'ABC'.encode('utf-8')
'ABC'
>>> u'ABC'.encode('utf-8')
'ABC'

#中文字符串需先转码成unicode,再编码成utf8格式
>>> '中文'.encode('utf-8')

Traceback (most recent call last):
  File "<pyshell#15>", line 1, in <module>
    '中文'.encode('utf-8')
UnicodeDecodeError: 'utf8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

>>> u'中文'.encode('utf-8')
'\xe4\xb8\xad\xe6\x96\x87'
>>> u'\u4e2d\u6587'.encode('utf-8')
'\xe4\xb8\xad\xe6\x96\x87'

#字符串从utf8格式解码成unicode
>>> 'ABC'.decode('utf-8')
u'ABC'
>>> '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
u'\u4e2d\u6587'
>>> print '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
中文

　　编码检验和转换

#检查编码
>>> import urllib
>>> rawdata = urllib.urlopen('http://www.google.cn/').read()
>>> import chardet
>>> chardet.detect(rawdata)
{'confidence': 0.99, 'encoding': 'utf-8'}

#将String对象从UTF-8内码转换为gbk,相反则s.decode('gbk').encode('utf-8')
>>> rawdata.decode('utf-8').encode('gbk')

#以unicode为中介实现编码或解码
>>> u'中文'.encode('gbk')
'\xd6\xd0\xce\xc4'
>>> u'中文'.encode('utf-8')
'\xe4\xb8\xad\xe6\x96\x87'
>>> '\xd6\xd0\xce\xc4'.decode('gbk')
u'\u4e2d\u6587'
>>> print u'\u4e2d\u6587'
中文
>>> '\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
u'\u4e2d\u6587'
>>> print u'\u4e2d\u6587'
中文

其中，decode的函数原型是 decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略。

　  默认的参数就是strict，代表遇到非法字符时抛出异常；
     如果设置为ignore，则会忽略非法字符；
     如果设置为replace，则会用?取代非法字符；

 

 读写文件编码

　　以test.txt文件为例，文件内容为“测试”。

>>> #coding=utf-8
>>> f = open("test.txt")
>>> s = f.read()
>>> print type(s)
<type 'str'>
>>> s
'\xb2\xe2\xca\xd4'
>>> u = s.decode("gbk")
>>> u
u'\u6d4b\u8bd5'
>>> f.write(u.encode("utf-8"))
>>> print u
测试