Theano2.1.8-基础知识之装载和保存

来自:http://deeplearning.net/software/theano/tutorial/loading_and_saving.html

loading and saving

    Python的标准方式来保存类实例和装载的方式是 pickle 机制。许多theano对象可以被pickle序列化(和反序列化)。然而,pickles的限制是它没法当类实例被序列化的时候,保存类的代码或者数据。所以,重新装载之前的类创建的对象变得非常有问题。

    所以,你想要使用另一个不同的机制,这取决于你在保存和重新装载之间间隔的时间的大小。对于短期来说(例如临时文件或者网络迁移),将theano的对象或者类进行pickling是可能的。对于长期来说 (例如从一个试验中保存模型) ,就不要依赖于 pickled Theano对象了;我们推荐在其他python的程序过程中装载和保存这个底层的共享变量。

一、pickling的基础

    两个模块 pickle 和 cPickle 有着相同的功能,不过 cPickle 是c实现的,可以更快:

>>> import cPickle
    你可以使用cPickle.dump来将对象序列化到文件中(save,或pickle):

>>> f = file('obj.save', 'wb')
>>> cPickle.dump(my_obj, f, protocol=cPickle.HIGHEST_PROTOCOL)
>>> f.close()
note:如果你想要你保存的对象能够高效的存储起来,不要忘记使用cPickle.HIGHEST_PROTOCOL. 生成的结果文件可能比默认的协议要小上20几倍。

note:用二进制模式打开你的文件 ('b') 有助于移植 (特别是在Unix和Windows之间)。

    为了反序列化 (或者 load, 或者 unpickle)一个 pickled 文件,使用 cPickle.load:

>>> f = file('obj.save', 'rb')
>>> loaded_obj = cPickle.load(f)
>>> f.close()
    你可以将好几个对象pickle到同一个文件中,然后将它们都进行装载 (以相同的顺序):

>>> f = file('objects.save', 'wb')
>>> for obj in [obj1, obj2, obj3]:
>>>     cPickle.dump(obj, f, protocol=cPickle.HIGHEST_PROTOCOL)
>>> f.close()

然后:

>>> f = file('objects.save', 'rb')
>>> loaded_objects = []
>>> for i in range(3):
>>>     loaded_objects.append(cPickle.load(f))
>>> f.close()
更详细的 pickle用法,查看 Python documentation.

二、短时间序列化

    如果你很自信的说,你序列化的类实力可以被代码的一个兼容版本所反序列化,那么pickling整个模型是一个很好的方法,例如,如果你在你程序的同一次执行中保存模型然后重新装载,或者你保存的类已经稳定了一会儿了。

    你可以控制从你的对象中什么 pickle需要被save。通过定义一个 __getstate__ 方法,和一个相似的__setstate__方法。

    这是特别有用的,如果你的模型类包含了对一个当前使用的数据集的链接,那么你可能不想要pickle你的模型的每个实例。

    例如,你可以定义有双下划线的函数:

def __getstate__(self):
    state = dict(self.__dict__)
    del state['training_set']
    return state

def __setstate__(self, d):
    self.__dict__.update(d)
    self.training_set = cPickle.load(file(self.training_set_file, 'rb'))

三、鲁棒性的序列化

    这种序列化使用了一些特定于theano的帮助函数。它使用python的pickling协议来序列化对象,不过包含在任何对象内的 ndarray 或者 CudaNdarray 对象都被一NPY文件分别独立保存了。这些NPY文件和Pickled的文件都放在一个ZIP文件内。

    这个方法的主要优势在于你升职不需要安装theano,就能看到你pickled的共享变量的值。你可以只是通过手动用numpy来装载这些参数就好。

numpy.load('model.zip')

    该方法当你和那些没有安装theano的人共享你的模型的时候,或者那些人使用着不同的python版本,或者你计划长时间保存你的模型,这些情况下是很受益的。(在这种情况下错误的匹配会使得unpickle对象变得很快困难).

见 theano.misc.pkl_utils.dump() 和 theano.misc.pkl_utils.load()

四、长时间序列化

   如果你想要保存的类的实现是不稳定的,例如当函数被创建或者移除,类成员被重命名,你就应该只保存和装载你类的稳定不变的那部分。

   你可以通过定义 __getstate__ 和 __setstate__ 函数来达到目的,应该定义你想要保存的属性,而不是那些你不需要保存的。

    例如,如果这个唯一你想要保存的参数是权重矩阵W 和偏置 b,那么就可以定义:

def __getstate__(self):
    return (self.W, self.b)

def __setstate__(self, state):
    W, b = state
    self.W = W
    self.b = b
   如果在某个时间点上,W 重命名成了权重,而b成了偏置,那么更老的pickled文件就变得没法用了:

def __getstate__(self):
    return (self.weights, self.bias)

def __setstate__(self, state):
    W, b = state
    self.weights = W
    self.bias = b

    更多有关使用pickle的高级用法和它的内部信息,参考Python的 pickle 文档。

参考资料:

[1] 官网:http://deeplearning.net/software/theano/tutorial/loading_and_saving.html


posted @ 2015-06-16 21:31  仙守  阅读(1717)  评论(0编辑  收藏  举报