字符编码
参考文章:廖雪峰字符串和编码
# 注意:在打印二进制表示时前面的0都会去掉
# 编码问题 ,b表示bytes(最前面的0去掉),\x表示16进制
# UTF-8是这样做的:
# 1. 单字节的字符,字节的第一位设为0,对于ascii字符,UTF-8码只占用一个字节,和ASCII码完全相同;
#
# 2. n个字节的字符(n>1),第一个字节的前n位设为1,第n+1位设为0,后面字节的前两位都设为10,这n个字节的其余空位填充该字符unicode码,高位用0补足。
# 这里有一个很大的问题,bin只是将数字转为二进制,unicode是2字节,内存中是unicode保存,
# ord是返回字符在unicode的位置,比如空格" "的位置是32,bin(32)就是0b100000,这样就省略了10个0,但是在打印时最前面的0会全部去掉
# 网络传输,读文件是以bytes流传输
# gbk和gb2312是两个字节
# 具体例子如下:
1 a = " " 2 print(bin(ord(a.encode()))) # 0b100000 # 最前面的10个0去掉 3 print(bin(ord(a))) # 0b100000 4 print(ord(a)) # 32 5 a = "~" 6 print(bin(ord(a.encode()))) # 0b1111110 # 最前面的9个0去掉 7 print(bin(ord(a))) 8 print(ord(a)) # 126 9 10 a = "ab" 11 print(a.encode()) # b'ab' # bytes 12 a = str("ab") 13 print(a.encode()) # b'ab' # bytes 其二进制表示可以查ascii表 14 a = "我" 15 print(a.encode()) # b'\xe6\x88\x91' 16 print(ord(a)) # 25105 # """ Return the Unicode code point for a one-character string. """ 17 print(bin(ord(a))) # 0b 1100010 00010001 18 print(bin(25105)) # 0b 1100010 00010001 # 返回的应该是unicode编码 ,最前面的一个0去掉了0b 01100010 00010001 19 for i in a.encode(): 20 print(i) # 230 136 145 21 print(bin(i)) # 0b11100110 0b10001000 0b10010001 则unicode编码为 0110 001000 010001 22 23 a = "我" 24 print(a.encode(encoding='gbk')) # b'\xce\xd2' 25 31 32 print("我".encode("gbk")) # b'\xce\xd2' 33 for i in "我".encode(encoding='gbk'): 34 print(i) # 206 210 35 print(bin(i)) # 0b11001110 0b11010010 36 37 print("######") 38 print("我".encode("gb2312")) # b'\xce\xd2' 39 for i in "我".encode("gb2312"): 40 print(i) # 206 210 41 print(bin(i)) # 0b11001110 0b11010010 42 43 print("#############") 44 # print(str("我".encode().decode()))