cloudpathlib 面向云存储的python pathlib 风格的数据处理
cloudpathlib 是模仿了python pathlib 接口格式的python 库,可以用来方便的进行云存储的数据处理
包含的特性
- 与path 方式类似的访问
- 支持s3,gcs,azure ,ftp 也在开发中
- 可扩展
- 读写支持
- 无缝的cache 支持,可以按需进行cache 的处理
- 方便测试
说明
fsspec 以及pyfilesys 偏向与fs 的处理,缺少对于类似python pathlib 方式的支持,cloudpathlib 可以很好的解决,但是目前
来说支持的云存储并不是特别多,主要还是当前一些主流类的,对于项目还是值得尝试的
参考资料
https://github.com/drivendataorg/cloudpathlib
https://cloudpathlib.drivendata.org/