什么是序列化?
将一组或多组数据结构转化成一个字符串的过程就叫做序列化
它的目的:
序列化的结构是字符串,准确的说是bytes类型,方便存储
方便于网络传输,
既然序列化是从数据类型到字符串的过程,那是不是可以在反序列化的时候使用eval呢
事实证明:eval对于很多类型反序列化的时候改变了原来数据的类型,再一个就是不安全
序列化: 数据结构 --》 字符串
反序列化:字符串 --》数据结构
一 json
json 是大部分语言都支持的的序列化格式,但是对于python而言支持的数据类型有限。
它支持的类型有:字典,列表,数字类型,而且json里面只允许使用双引号,
还有一点,当将两个以上的数据类型(即使是同一个类型)写入一行,读取也会报错
json的序列化
下面看看json的一个例子
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import json dic={'a':1} x=None res=json.dumps(dic) print(res,type(res)) #{"a": 1} <class 'str'> 这里面的是双引号 print(json.dumps(x)) #由None转化成了null
如果写入文件呢
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import json dic={'a':1,'name':'xinxin'} with open('user.json','w',encoding='utf-8') as f: f.write(json.dumps(dic)) #查看文件的结果为:{"a": 1, "name": "xinxin"} 着里面都变成双引号了
那上面的写入文件是不是可以简便点呢?答案是可以
json.dump(dic,open('user_new.json','w',encoding='utf-8')) #结果是一样的
json的反序列化
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# json.dump(dic,open('user_new.json','w',encoding='utf-8')) # with open('user.json','r',encoding='utf-8') as f: # user=json.loads(f.read()) # print(user['name']) #上面的太麻烦,简便点 user=json.load(open('user.json','r',encoding='utf-8')) print(user['name'])
json对字符串的处理
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
# json_str='{"count":1}' # print(json.loads(json_str)['count']) #答案为 1 说明是可以解析出来 json_str="{'count':1}" print(json.loads(json_str)['count']) #json对于这种格式会报错 #如果在文件里面写单引号会怎么样? #答案:json使用load和loads都会报错
json的一行内是不能存储两个类型的数据类型的,即使是同一个类型的两个,那么怎么解决呢
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
a={'1':'a'} b={'2':'b'} c={'3':'c'} msg='' msg+=json.dumps(a)+'\n' msg+=json.dumps(b)+'\n' msg+=json.dumps(c)+'\n' # with open('user_new.json','w',encoding='utf-8') as f: # f.write(msg) # res=json.load(open('user_new.json','r',encoding='utf-8')) # print(res) #报错 json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 11) with open('user_new.json','r',encoding='utf-8') as f: for i in f: print(json.loads(i.strip())) ''' {'1': 'a'} {'2': 'b'} {'3': 'c'} 原本字典里面的整数变成了字符串,这是一个缺陷 '''
上面的例子是使用dumps拼接然后使用loads读取的例子,那么使用load是否可以读取呢
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
res=json.load(open('user_new.json','r',encoding='utf-8')) print(res) #报错 json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 11) #之后我将着三行数据只留下一行,发现可以读取了 #看来,存入多行内容到文件时, # 1 分别使用dumps转化成字符串 +上\n # 2 反序列化的时候,按行读取去掉\n,再使用loads反序列化
如果对于拼接后的字符串使用dump直接写入呢
json.dump(msg,open('user.json','w',encoding='utf-8')) #文件中的结果 "{\"1\": \"a\"}\n{\"2\": \"b\"}\n{\"3\": \"c\"}\n" #结果就变得不一样了
下面是一个json序列化和反序列化中文的情况
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
dicc={'序号':'one'} # res=json.dumps(dicc) # ret=json.loads(res) # print(ret) #正常显示中文 # f=open('user.json','w',encoding='utf-8') # json.dump(dicc,f) #查看文件 {"\u5e8f\u53f7": "one"} # f.close() # f=open('user.json','r',encoding='utf-8') # res=json.load(f) # print(res) #正常显示中文 # f.close() f=open('user.json','w',encoding='utf-8') json.dump(dicc,f,ensure_ascii=False) #查看文件{"序号": "one"} 正常显示中文了 f.close() #json使用dumps序列化后,使用loads是能正常显示中文的,这个是变量的情况,在内存中 #但是写入文件里面,查看文件的内容却是二进制,当然还是可以dump导出看出中文 #要想在文件里面也显示为中文,使用 ensure_ascii=False
总结:
dumps序列化 loads反序列化 只在内存中操作数据 主要用于网络传输 和多个数据与文件打交道
dump序列化 load反序列化 主要用于一个数据直接存在文件里—— 直接和文件打交道
json的其他参数说明
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
Serialize obj to a JSON formatted str.(字符串表示的json对象) Skipkeys:默认值是False,如果dict的keys内的数据不是python的基本类型(str,unicode,int,long,float,bool,None),设置为False时,就会报TypeError的错误。此时设置成True,则会跳过这类key ensure_ascii:,当它为True的时候,所有非ASCII码字符显示为\uXXXX序列,只需在dump时将ensure_ascii设置为False即可,此时存入json的中文即可正常显示。) If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an OverflowError (or worse). If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity). indent:应该是一个非负的整型,如果是0就是顶格分行显示,如果为空就是一行最紧凑显示,否则会换行且按照indent的数值显示前面的空白分行显示,这样打印出来的json数据也叫pretty-printed json separators:分隔符,实际上是(item_separator, dict_separator)的一个元组,默认的就是(‘,’,’:’);这表示dictionary内keys之间用“,”隔开,而KEY和value之间用“:”隔开。 default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError. sort_keys:将数据根据keys的值进行排序。 To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg; otherwise JSONEncoder is used.
举例:json的格式话输出:
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
data={'username':['李华','二愣子'],'sex':'male','age':16} json_dic=json.dumps(data,sort_keys=True,indent=2,separators=(',',':'),ensure_ascii=False) print(json_dic) ''' 显示结果为: { "age":16, "sex":"male", "username":[ "李华", "二愣子" ] } 如果indent=0 就顶格写了 '''
二 pickle
pickle支持python中几乎所有的数据类型,包括自定义的类和对象
它和json的区别:json序列化之后是字符串,pickle是bytes类型
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
dic={'k1':'v1','k2':'v2','k3':'v3'} str_dic=pickle.dumps(dic) #序列化 print(str_dic) #显示的一串bytes类型的字符串 dic2=pickle.loads(str_dic) #反序列化 print(dic2) #{'k1': 'v1', 'k2': 'v2', 'k3': 'v3'} import time # struct_time=time.localtime(1000000000) # print(struct_time) # f=open('pickle_file','wb') # pickle.dump(struct_time,f) #它写入文件查看时时乱码 # f.close() #读取文件 # f=open('pickle_file','rb') # struct_time2=pickle.load(f) # print(struct_time2.tm_year) #成功显示2001 # f.close() #将文件的写入和读取使用其他编码时报错,因此,pickle只能使用bytes类型的方式操作
其他:
这时候机智的你又要说了,既然pickle如此强大,为什么还要学json呢?
这里我们要说明一下,json是一种所有的语言都可以识别的数据结构。
如果我们将一个字典或者序列化成了一个json存在文件里,那么java代码或者js代码也可以拿来用。
但是如果我们用pickle进行序列化,其他语言就不能读懂这是什么了~
所以,如果你序列化的内容是列表或者字典,我们非常推荐你使用json模块
但如果出于某种原因你不得不序列化其他的数据类型,而未来你还会用python对这个数据进行反序列化的话,那么就可以使用pickle
三 shelve
shelve也是python中提供序列化的模块,使用方法简单
shelve只提供给我们一个open方法,是用key来访问的,使用起来和字典类似。
缺点:
适合读,不适合更新,在writeback时会把所有的数据都重新写入,结果就是可能消耗内存很多,写入耗时;
不能并发的读写,不过可以使用Unix文件锁进行控制(fcntl);
import shelve f=shelve.open('shelve_file') f['key']={'int':10, 'float':9.5, 'string':'Sample data'} f.close()
上面的例子执行后,会产生3个文件,类似于mysql的myisam表
shelve_file.bak 查看:'key', (0, 72)
shelve_file.dat 查看:乱码
shelve_file.dir 查看: 'key', (0, 72)
下面时读取文件
1 import shelve 2 f1=shelve.open('shelve_file') 3 existing=f1['key'] ##取出数据的时候也只需要直接用key获取即可,但是如果key不存在会报错 4 f1.close() 5 print(existing) #可以读出内容{'int': 10, 'float': 9.5, 'string': 'Sample data'}
这个模块有个限制,它不支持多个应用同一时间往同一个DB进行写操作。所以当我们知道我们的应用如果只进行读操作,我们可以让shelve通过只读方式打开DB
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import shelve f = shelve.open('shelve_file', flag='r') existing = f['key'] f.close() print(existing)
由于shelve在默认情况下是不会记录待持久化对象的任何修改的,所以我们在shelve.open()时候需要修改默认参数,否则对象的修改不会保存。
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
import shelve f1 = shelve.open('shelve_file') print(f1['key']) f1['key']['new_value'] = 'this was not here before' f1.close() f2 = shelve.open('shelve_file', writeback=True) print(f2['key']) f2['key']['new_value'] = 'this was not here before' f2.close()
writeback方式有优点也有缺点。优点是减少了我们出错的概率,并且让对象的持久化对用户更加的透明了;但这种方式并不是所有的情况下都需要,首先,使用writeback以后,shelf在open()的时候会增加额外的内存消耗,并且当DB在close()的时候会将缓存中的每一个对象都写入到DB,这也会带来额外的等待时间。因为shelve没有办法知道缓存中哪些对象修改了,哪些对象没有修改,因此所有的对象都会被写入。