python-字符编码


image

字符编码

字符编码简介

由于计算机内部只识别二进制,但是用户(全球人类)在使用计算机的时候可以看到各式各样的语言,所以这中间必须对不同语言进行‘翻译’,计算机才能识别,这个翻译的标准就是字符编码表,数字和字符一一对应。

‘翻译’过程

  • 用户 → 计算机 → 用户

      **字符 → 数字 (01二进制)→ 字符**
    

字符串编码发展史

👉[ASCII](ASCII_百度百科 (baidu.com)

1.、ASCII码

计算机最初是由美国人发明的,美国人为了能狗让计算机识别英文字符,发明了ASCII码,里面记录了英文与数字对应关系。如下图:

image

  • 所由英文字符和符号加起来不超过127个
  • 使用八位表示是为了后续发现新的语言

字符对应关系

  • A-Z:65-90

  • a-z:97-122

在python中,用ord()方法查看字符对应的数字(十进制)

image

2、汉字编码 ——GBK

为了让计算机能够识别中文,发明了另外一套编码,GBK

GBK编码表记录了中文英文与数字的对应关系。

  • GBK对于英文使用一个字节
  • GBK对于中文使用两个甚至更多字节

注·比如,简体中文常见的编码方式是 GB2312,使用两个字节表示一个汉字,所以理论上最多可以表示 256 x 256 = 65536 个符号,所以两个字节其实也不够表示出所有的中文,遇到生僻字可能需要更多位来表示。

3、日文编码 ——Shift_JIS

为了让计算机能够识别日文,也需要发明一套编码表,

Shift_JIS编码表记录了日文英文与数字的对应关系。

4、韩文编码 ——EUC-KR

为了能够让计算机识别韩文,需要发明一套编码表,

EUC_KR编码表记录了韩文英文与数字的对应关系。

5、万国码 ——Unicode

Unicode简介:

Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。

Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符,最多可以容纳1114112个字符,或者说有1114112个码位。码位就是可以分配给字符的数字。UTF-8UTF-16UTF-32都是将数字转换到程序数据的编码方案,统一使用两个及以上字符记录字符与数字的对应关系。

UTF-8

UTF-8为万国码的优化版本,将英文用一个字节存储,将中文用三个字节或更多版本存储。我们默认使用的编码为UTF-8。

字符编码实操

1、如何解决乱码的情况

#文件当初以什么标准编码,打开的时候就以什么标准解码

2、python解释器版本不同带来的编码差异

  • 由于Python2.X比Unicode发明早,所以内部默认使用ASCII

image

3、在使用python2.x编程时,必须加上文件头。如果定义字符串需要在字符串前加一个小u。

image

4、python3.X内部使用的是utf-8

5、在pycharm中如何定义文件头模板(python2版本可用)

image


image

步骤:file>>settings>>Editor>>file and code templates >>python script

代码演练

  • 编码与解码的过程
  • encode-编码:将人类能够读懂的字符转换成数字
  • decode-解码:将数字转换成人类能够读懂的字符

实例如下:

s = '我要坚持学python!'
#编码
res = s.encode('utf8')
print(res,type(res))
#解码
res1 = res.decode('utf8')
print(res1,type(res1))

#结果
b'\xe6\x88\x91\xe8\xa6\x81\xe5\x9d\x9a\xe6\x8c\x81\xe5\xad\xa6python\xef\xbc\x81' <class 'bytes'>
我要坚持学python! <class 'str'>

image支持转载标明出处,持续更新中~~~


字符编码有这一篇get了!

posted @ 2021-11-10 19:00  HammerZe  阅读(298)  评论(0编辑  收藏  举报