关于python中的unicode字符串的使用
基于python2.7中的字符串:
unicode——》编码encode('utf-8')——》写入文件
读出文件——》解码decode('utf-8')——》unicode
在使用unicode的时候,必须注意以下的原则:
1、 程序中出现字符串的地方加前缀u,表示为unicode类型
2、不要使用str函数,在使用的时候使用unicode函数
3、不要使用string模块
4、只有在写入文件或者数据库或者网络的时候,才使用encode函数来进行编码发送;只有在把数据读取回来的时候,才使用decode进行解码
在使用读写unicode数据库的时候,注意几个方面:
1、数据库服务器,例如mysql,只要每个表使用utf-8格式来进行编码即可
2、数据库适配器,例如mysqldb,在connect()方法中使用use_unicode方法
3、web开发框架,例如django,进行更多的设置
#!/usr/bin/env python #-*- coding:utf-8 -*- #声明为unicode编码文件,否则会报错 CODEC = 'utf-8' FILE = 'unicode.txt' hello_out = u'Hello KEL,中文测试\n' bytes_out = hello_out.encode('utf-8') #在写入文件的时候进行编码为utf-8,从而保存在文件中的编码为utf-8 f = open(FILE,'w') f.write(bytes_out) f.close() f = open(FILE,'r') hello_in = f.read() bytes_in = hello_in.decode(CODEC)#读出文件的时候,进行解码,从utf-8进行解码,解码为unicode类型 f.close() print bytes_in,以上的程序为当写入文件的时候,必须进行编码,从而在文件中保存为正确的编码格式;在读出文件的时候,进行适当的解码,从而转换为unicode编码来进行处理。
在进行使用unicode编码的时候,必须声明此文件使用的编码类型,否则会报错,报错内容如下:
[root@python 48]# python uniFile.py File "uniFile.py", line 6 SyntaxError: Non-ASCII character '\xe4' in file uniFile.py on line 6,
but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details
1、内建的unicode函数,用来生成unicode函数——通过一个字节串和编码方法显式的创建一个unicode字符串,通常不指定编码方式的字节串是没有任何意义的。
>>> kel = unicode('kel','utf-8') >>> print kel kel >>> kel u'kel'2、内建的decode方法和encode方法,一个是进行编码,一个是进行解码
3、unicode字符串对象是basestring的子类,使用u或者U来创建实例,在支持原始字符串的时候,可以使用ur或者UR,u必须写在r的前面
>>> kel = ur'this is 汉字' >>> kel = ru'this is 汉字' File "<stdin>", line 1 kel = ru'this is 汉字' ^ SyntaxError: invalid syntax
4、 在对象中,如果一个对象包含一个__unicode__()方法,那么可以将一个对象转换为unicode对象
>>> kel = '汉字' >>> kel '\xe6\xb1\x89\xe5\xad\x97' >>> kel.encode('utf-8') Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not in range(128)在进行编码解码的时候,默认是使用ascii编码来进行解码,如果出现以上错误,或者是UnicodeEncodeError,那么均表示为在进行编码或解码的时候不正确,没有正确的创建一个unicode对象。
1、 无论何时,当你的程序接收到来自网络或者文件或者用户输入等的时候,应当立即创造一个unicode对象,找出最合适的编码,使用decode来进行创建unicode对象。
2、无论何时,当你的程序要发送文本数据到网络或者写入文件或者输出等的时候,应该探查正确的编码,并用呢种编码将你的文本转变为字节串,使用encode方法来进行发送数据
创建一个unicode字符串:
>>> kel = unicode('中文string','utf-8') >>> print kel 中文string将unicode转变为python字符串:
>>> kel = unicode('中文string','utf-8') >>> print kel.encode('utf-8')将python字符串转变为unicode:
>>> kel = unicode('中文string','utf-8').encode('utf-8').decode('utf-8') >>> print kel 中文string
将unicode对象转变为字节串,称之为对该字符串进行编码;
从基于字节的对象中载入一个unicode字符串,必须对齐进行解码,将从字节串转换为字符,也就是unicode对象
当处理字节串和unicode编码的时候:
会将字节串转换成unicode编码,在隐式的情况下,并且假设字节串为ascii编码,如果包含非ascii编码,那么将会有unicodedecodeerror的异常发生。
在默认进行转换的时候,都是使用ascii编码进行转换。——从而在每次报错的时候,都是ascii异常编码或者解码异常,