cloudpickle pickle 扩展包
pickle 是python的序列化包,但是默认pickle 不能进行lambda 的处理,cloudpickle 对于pickle 进行了一些扩展,可以更好的支持
集群节点之间的共享以及计算,同时apache spark 的pyspark 也集成了此功能,只是是自己fork的完整代码
参考使用
- dump.py
import cloudpickle,pickle
squaredv2 = lambda x: x ** 2
pickled_class_origin = cloudpickle.dumps(squaredv2)
new_squared = pickle.loads(pickled_class_origin)
print(new_squared(2))
- 效果
如果是默认的pickle dump 会提供错误的
说明
实际上不少python 项目都会集成cloudpickle 比如ray 也集成了
参考资料
https://github.com/cloudpipe/cloudpickle
https://docs.python.org/3/library/pickle.html
https://github.com/ray-project/ray/tree/master/python/ray/cloudpickle