pickle 在python 2和python 3中兼容性问题

转载自http://blog.csdn.net/lanchunhui/article/details/50034921

以下的演示均在Python 3环境下进行。

我们以一个简单的文件打开和文件读为例说明，pickle读文件时可能存在的编码问题：

import pickle

# 使用with结构避免手动的文件关闭操作
with open('xxx.pkl', 'rb') as objFile:
    self= pickle.load(objFile)

 

如果沿用python 2.x的做法，如上所示，而不做任何编码格式上的设置，直接运行，编译器会提示如下错误：

UnicodeDecodeError: 'ascii' codec can't decode byte 0x99 in position 2: ordinal not in range(128)

 

0. 一种 import 的兼容性解决思路

try:
    import cPickle as pickle
except ImportError:
    import pickle

1. 解决方案

一种可行的解决方案是：

with open('xxx.pkl', 'rb') as objFile:
    u = pickle._Unpickler(objFile)
    u.encoding = 'latin1'
    self = u.load()

或者更为精炼地：

with open('xxx.pkl', 'rb') as objFile:
    training_data, validation_data, test_data = pickle.load(f, encoding='latin1')

references

[1] <Pickle incompatability of numpy arrays between Python 2 and 3>