pickle模块

在机器学习中，我们常常需要把训练好的模型存储起来，这样在进行决策时直接将模型读出，而不需要重新训练模型，这样就大大节约了时间。Python提供的pickle模块就很好地解决了这个问题，它可以序列化对象并保存到磁盘中，并在需要的时候读取出来，任何对象都可以执行序列化操作。

用于序列化的两个模块
　　json：用于字符串和Python数据类型间进行转换
　　pickle: 用于python特有的类型和python的数据类型间进行转换
　　json提供四个功能：dumps,dump,loads,load
　　pickle提供四个功能：dumps,dump,loads,load

pickle可以存储什么类型的数据呢？

1. 所有python支持的原生类型：布尔值，整数，浮点数，复数，字符串，字节，None。
2. 由任何原生类型组成的列表，元组，字典和集合。
3. 函数，类，类的实例

pickle模块中常用的方法有：

    1. pickle.dump(obj, file, protocol=None,)

    必填参数obj表示将要封装的对象

    必填参数file表示obj要写入的文件对象，file必须以二进制可写模式打开，即“wb”

    可选参数protocol表示告知pickler使用的协议，支持的协议有0,1,2,3，默认的协议是添加在Python 3中的协议3。　　　

• Protocol version 0 is the original “human-readable” protocol and is backwards compatible with earlier versions of Python.
• Protocol version 1 is an old binary format which is also compatible with earlier versions of Python.
• Protocol version 2 was introduced in Python 2.3. It provides much more efficient pickling of new-style classes. Refer to PEP 307 for information about improvements brought by protocol 2.
• Protocol version 3 was added in Python 3.0. It has explicit support for bytes objects and cannot be unpickled by Python 2.x. This is the default protocol, and the recommended protocol when compatibility with other Python 3 versions is required.
• Protocol version 4 was added in Python 3.4. It adds support for very large objects, pickling more kinds of objects, and some data format optimizations. Refer to PEP 3154 for information about improvements brought by protocol 4. 

    2. pickle.load(file,*,fix_imports=True, encoding="ASCII", errors="strict")

    必填参数file必须以二进制可读模式打开，即“rb”，其他都为可选参数

    3. pickle.dumps(obj)：以字节对象形式返回封装的对象，不需要写入文件中

    4. pickle.loads(bytes_object): 从字节对象中读取被封装的对象，并返回

 pickle模块可能出现三种异常：

    1. PickleError：封装和拆封时出现的异常类，继承自Exception

    2. PicklingError: 遇到不可封装的对象时出现的异常，继承自PickleError

    3. UnPicklingError: 拆封对象过程中出现的异常，继承自PickleError

应用：

pickle.loads(string)

       函数的功能：从string中读出序列化前的obj对象。

       参数讲解：

string：文件名称。
     【注】 dump() 与 load() 相比 dumps() 和 loads() 还有另一种能力：dump()函数能一个接着一个地将几个对象序列化存储到同一个文件中，随后调用load()来以同样的顺序反序列化读出这些对象。

 

1 # dumps功能

pickle.dumps(obj[, protocol])

       函数的功能：将obj对象序列化为string形式，而不是存入文件中。

       参数讲解：

• obj：想要序列化的obj对象。
• protocal：如果该项省略，则默认为0。如果为负值或HIGHEST_PROTOCOL，则使用最高的协议版本。

2 import pickle
3 data = ['aa', 'bb', 'cc']  
4 # dumps 将数据通过特殊的形式转换为只有python语言认识的字符串
5 p_str = pickle.dumps(data)
6 print(p_str)            
7 b'\x80\x03]q\x00(X\x02\x00\x00\x00aaq\x01X\x02\x00\x00\x00bbq\x02X\x02\x00\x00\x00ccq\x03e.

1 # loads功能
2 # loads  将pickle数据转换为python的数据结构

pickle.load(file)

        函数的功能：将file中的对象序列化读出。

        参数讲解：

• file：文件名称。

3 mes = pickle.loads(p_str)
4 print(mes)
5 ['aa', 'bb', 'cc']

# dump功能
2 # dump 将数据通过特殊的形式转换为只有python语言认识的字符串，并写入文件
3 with open('D:/tmp.pk', 'w') as f:
4     pickle.dump(data, f)

# load功能
2 # load 从数据文件中读取数据，并转换为python的数据结构
3 with open('D:/tmp.pk', 'r') as f:
4     data = pickle.load(f)