python编码的理解
from:http://www.unixresources.net/linux/clf/python/archive/00/00/42/73/427317.html
结合二位的答复,运行结果如下:
>>> a='中国'
>>> b=unicode(a, 'cp936')
>>> b
u'u4e2du56fd'
>>> c = b.encode('utf-8')
>>> c
'xe4xb8xadxe5x9bxbd'
>>> d = b.encode('cp936')
>>> d
'xd6xd0xb9xfa'
加上unihan的数据库,得知b包含的实际上是那个decimal值,等同于utf-16编码,c包含的是utf-8编码,d包含的就是gb2312编码了。关于unicode在python内部的表示(即用unicode()函数转换的结果),就是那个唯一的Decimal值,等同于utf-16。当然,UTF和Unicode并不是同样的事物,后者是前者的变换格式。我的理解对吗?
另外,"cp936"能够用于Linux系统吗?
还有一个问题请教一下:
python的unicode()函数和字符串对象的encode()方法能否介绍一下?主要是它们的作用以及能够接受的Encoding。
真的是非常感谢了。澄清了一个重要概念。
P.S 《无废话XML》中有一章专门介绍Unicode。它里面就把UTF-8, UTF-16, Unicode的关系说得很清楚了。对照这片帖子二位的解说,我想大家都会像我一样,学到不少东西的。
=========================
又试了一下,对于unicode()函数,
主要用到两个参数:原字符串,编码
比如‘'中'字的utf-8编码是:xe4xb8xad,
这时,unicode('xe4xb8xad', 'utf-8')的结果就是'中'字的unicode,为:u'u4e2d'.
即参数中的'utf-8'用来指出前面那个串的编码是什么。而unicode()的作用就是按照这个编码来解释第一个参数,并且返回它的unicode形式。
但是对于u"xxx"的形式还未理解,对于str.encode()也没有理解……
=============================
你说的内部的unicode编码是使用utf-16应该是对的。
我一般将一个字符串转为unicode都使用unicode(str, encoding)
而将一个unicode转为其它的编码使用unistr.encode(encoding)
u"xxx"是python中用来表示字符的内部编码的一种表示方法。
在linux下没有cp936的使用。这一点在我的blog上有说明:http://www.donews.net/limodou/archive/2004/08/13/67432.aspx
因此要使用要不自已搞一个gbk的编码模块,要不使用cjk模块。
================================
Code:
结合二位的答复,运行结果如下:
>>> a='中国'
>>> b=unicode(a, 'cp936')
>>> b
u'u4e2du56fd'
>>> c = b.encode('utf-8')
>>> c
'xe4xb8xadxe5x9bxbd'
>>> d = b.encode('cp936')
>>> d
'xd6xd0xb9xfa'
加上unihan的数据库,得知b包含的实际上是那个decimal值,等同于utf-16编码,c包含的是utf-8编码,d包含的就是gb2312编码了。关于unicode在python内部的表示(即用unicode()函数转换的结果),就是那个唯一的Decimal值,等同于utf-16。当然,UTF和Unicode并不是同样的事物,后者是前者的变换格式。我的理解对吗?
另外,"cp936"能够用于Linux系统吗?
还有一个问题请教一下:
python的unicode()函数和字符串对象的encode()方法能否介绍一下?主要是它们的作用以及能够接受的Encoding。
真的是非常感谢了。澄清了一个重要概念。
P.S 《无废话XML》中有一章专门介绍Unicode。它里面就把UTF-8, UTF-16, Unicode的关系说得很清楚了。对照这片帖子二位的解说,我想大家都会像我一样,学到不少东西的。
=========================
又试了一下,对于unicode()函数,
主要用到两个参数:原字符串,编码
比如‘'中'字的utf-8编码是:xe4xb8xad,
这时,unicode('xe4xb8xad', 'utf-8')的结果就是'中'字的unicode,为:u'u4e2d'.
即参数中的'utf-8'用来指出前面那个串的编码是什么。而unicode()的作用就是按照这个编码来解释第一个参数,并且返回它的unicode形式。
但是对于u"xxx"的形式还未理解,对于str.encode()也没有理解……
=============================
你说的内部的unicode编码是使用utf-16应该是对的。
我一般将一个字符串转为unicode都使用unicode(str, encoding)
而将一个unicode转为其它的编码使用unistr.encode(encoding)
u"xxx"是python中用来表示字符的内部编码的一种表示方法。
在linux下没有cp936的使用。这一点在我的blog上有说明:http://www.donews.net/limodou/archive/2004/08/13/67432.aspx
因此要使用要不自已搞一个gbk的编码模块,要不使用cjk模块。
================================
Code:
#coding:utf-8 #指定本文件编码为utf8 import os # 以下为示例代码,不一定能运行。随意写的,无编译运行过。 # 例子以XP平台为例,因为linux平台编码(UTF-8)与window平台(GBK)不一样。 # 假设D盘下面有很多中文名称文件 filelist = os.listdir(r"d:\") # 此处返回的list中的中文是以GBK编码的,你可以通过查看cmd窗口属性看到。 for path in filelist: if os.path.isdir(path): continue fp = open(path.decode("GBK") , 'rb') # 如果此处用 path.decode("UTF-8") 就会抛异常,原因是wind的dir命令返回的是GBK编码 print len(fp.read()) fp.close() filepath =r"d:\中文文件.doc" # 假设此文存在,记得要带中文 fp = open(filepath.decode('utf-8'), "rb") #这里使用utf8参数进行解码,原因是文件头里有句coding: utf-8 print len(fp.read()) fp.close() path2 = u"d:\中文文件.doc" # 假如这里有个u在前面,这个变量就是unicode编码了,不用解码。 fp = open(path2, 'rb') print len(fp.read()) fp.close() |