python中的编码方式

python中常用的字符串格式有两种：一种是str类型，一种是bytes类型。

• str类型和bytes类型的转换：

>>> str1 = 'hello world!'
>>> type(str1) ##查看str1的数据类型
<class 'str'>
>>> b = str1.encode('utf-8') ##str到bytes的转换
>>> b,type(b)
(b'hello world!', <class 'bytes'>)
>>> str2 = b.decode('utf-8') ##bytes到str的转换
>>> str2,type(str2)
('hello world!', <class 'str'>)

• 不同编码格式之间的转换：

　　一般采用先按照运来的编码格式解码到str，然后再编码为bytes。

>>> strs = "常用的字符串格式"
>>> b = strs.encode('GBK')
>>> b
b'\xb3\xa3\xd3\xc3\xb5\xc4\xd7\xd6\xb7\xfb\xb4\xae\xb8\xf1\xca\xbd'
>>> str1 = b.decode('GBK')
>>> str1
'常用的字符串格式'
>>> str1.encode('UTF-8')
b'\xe5\xb8\xb8\xe7\x94\xa8\xe7\x9a\x84\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2\xe6\xa0\xbc\xe5\xbc\x8f'

•  打开特定编码格式的文件

>>> output = open('test','r',encoding='utf-8')
>>> output.read()
'百度百科——全球最大中文百科全书'
>>> output.close()
>>> output = open('test','r',encoding='GBK')
>>> output.read()
Traceback (most recent call last):
  File "<pyshell#28>", line 1, in <module>
    output.read()
UnicodeDecodeError: 'gbk' codec can't decode byte 0xa7 in position 10: illegal multibyte sequence

• url中的非ascii码字符

def url2ascii(self,url_addr): ##url转码acsii
    index = 0
    url_ascii = ""
    try: ##捕获转码失败，然后处理
        url_ascii = url_addr.encode('ascii')##bytes
        url_ascii = str(url_ascii, encoding = "ascii")##str
    except UnicodeEncodeError:
        url_Nonascii = re.findall(r'[\u0080-\uffff]+',url_addr) ##提取非ascii码编码范围的字符
        url_asciilist = re.split(r'[\u0080-\uffff]+',url_addr)  ##分割url_addr
        for s in url_Nonascii:
            url_ascii += url_asciilist[index] + quote(s) ##quote()函数将非ascci码转为%E4%BD%A0%E5%A5%BD格式的ascii码
            index += 1
        if index < len(url_asciilist):
            url_ascii += url_asciilist[index];
    print(url_ascii)
    return url_ascii

•  自动检测bytes的编码格式（Python V3.3 win32）

　　chardet模块可以自动检测网页，文件等以二进制方式打开的bytes stream的编码方式。

　　下载安装：

　　下载网址：https://github.com/byroot/chardet

　　安装过程，解压后，进入chardet-master文件夹，运行：

python srtup.py --help-commands
python setup.py build
python setup.py install
可能会需要安装setuptools模块（我安装的版本是distribute-0.6.38）

　　示例：

>>> import urllib.request
>>> urlp = urllib.request.urlopen('http://www.baidu.com')
>>> import chardet
>>> chardet.detect(urlp.read())
{'encoding': 'utf-8', 'confidence': 0.99}
>>> urlp.close()
>>> inputs = open('test','rb')
>>> chardet.detect(inputs.read())
{'encoding': 'GB2312', 'confidence': 0.99}
>>> inputs.close()
>>> inputs = open('test','rt')
>>> chardet.detect(inputs.read())
Traceback (most recent call last):
  File "<pyshell#9>", line 1, in <module>
    chardet.detect(inputs.read())
  File "D:\program file\Python33\lib\site-packages\chardet2-2.0.3-py3.3.egg\chardet\__init__.py", line 24, in detect
    u.feed(aBuf)
  File "D:\program file\Python33\lib\site-packages\chardet2-2.0.3-py3.3.egg\chardet\universaldetector.py", line 98, in feed
    if self._highBitDetector.search(aBuf):
TypeError: can't use a bytes pattern on a string-like object