Python 基础 json 与pickle
json 与pickle 是一种序列化的数据格式,在学json与pickle 之前呢,我们是接触过eval 函数的,这个函数是干嘛用的呢?其实这个函数就是提取字符串中的数据类型的。刚学会之歌方法的时候感觉好牛逼,好牛逼,but,eval方法是有局限性的,对于普通的数据类型,json.loads和eval都能用,但遇到特殊类型的时候,eval就不管用了,所以eval的重点还是通常用来执行一个字符串表达式,并返回表达式的值。
#---转换类型 d={"name":"yuan"} s=str(d) print(type(s)) d2=eval(s) print(d2[1]) with open("test") as f: for i in f : if type(eval(i.strip()))==dict: print(eval(i.strip())[1])
我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。
现在就先介绍一下牛逼的json:
如果我们要在不同的编程语言之间传递对象,就必须把对象序列化为标准格式,比如XML,但更好的方法是序列化为JSON,因为JSON表示出来就是一个字符串,可以被所有语言读取,也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式,并且比XML更快,而且可以直接在Web页面中读取,非常方便。
这几天都是把数据存入和取出文本文件,用json类型的“字符串”进行操作,在这个过程中出现过很多的错误,今天就对我之前跳过的坑做一次总结吧!
先看一下json在文本文件中的使用情况,关键自己只学了这个呀,
#----------------------------序列化 import json dic={'name':'alvin','age':23,'sex':'male'} print(type(dic))#<class 'dict'> data=json.dumps(dic) print("type",type(data))#<class 'str'> print("data",data) f=open('序列化对象','w') f.write(data) #-------------------等价于json.dump(dic,f) f.close() #-----------------------------反序列化<br> import json f=open('序列化对象') new_data=json.loads(f.read())# 等价于data=json.load(f) print(type(new_data))
看起来操作很简单吧,没错他就会给你这种假象,然后你自己操作一下就掉坑里去了!看起来没啥问题是吧,好我就给你找个问题你看看哈
def oo(): with open('new_hello','r') as f: #for i in f: data = json.loads(f.read()) # print(data) # ret.append(data) return data res = oo() print(res)
结果你就会发现:没错就是这个错误,这个错误呢考验了我整整一天的时间,为啥会报出这个错误呢,其实原因有很多种,就我遇到的我可以说一说,
1.从上面的代码你就会看出我是一次性把文件中的内容加载在内存中,然后就loads打印了,这个当然会报错了,json是一行行取数据的,你这样操纵的话,后面一行就会覆盖前面的一行,这样一定会出问题的呀!so,你该如何做就不用我多说了吧,只能循环遍历输出了,这是解决这一问题的办法之一,
2.在你存储文件过程中不能有空行,若是自己往文件中手动存储字典类型的数据,就要全部使用双引号,这一点要牢牢记住!!!
在使用json中要注意的问题:
import json #dct="{'1':111}"#json 不认单引号 #dct=str({"1":111})#报错,因为生成的数据还是单引号:{'one': 1} dct='{"1":"111"}' print(json.loads(dct)) #conclusion: # 无论数据是怎样创建的,只要满足json格式,就可以json.loads出来,不一定非要dumps的数据才能loads
pickle
import pickle dic={'name':'alvin','age':23,'sex':'male'} print(type(dic))#<class 'dict'> j=pickle.dumps(dic) print(type(j))#<class 'bytes'> f=open('序列化对象_pickle','wb')#注意是w是写入str,wb是写入bytes,j是'bytes' f.write(j) #-------------------等价于pickle.dump(dic,f) f.close() #-------------------------反序列化 import pickle f=open('序列化对象_pickle','rb') data=pickle.loads(f.read())# 等价于data=pickle.load(f) print(data['age'])
Pickle的问题和所有其他编程语言特有的序列化问题一样,就是它只能用于Python,并且可能不同版本的Python彼此都不兼容,因此,只能用Pickle保存那些不重要的数据,不能成功地反序列化也没关系。
最后呢,也对json进行一下总结:
Json简介:Json,全名 JavaScript Object Notation,是一种轻量级的数据交换格式。Json最广泛的应用是作为AJAX中web服务器和客户端的通讯的数据格式。
Encode过程,是把python对象转换成json对象的一个过程,常用的两个函数是dumps和dump函数。两个函数的唯一区别就是dump把python对象转换成json对象生成一个fp的文件流,而dumps则是生成了一个字符串:
Decode过程,是把json对象转换成python对象的一个过程,常用的两个函数是loads和load函数。区别跟dump和dumps是一样的。