cloudpathlib 面向云存储的python pathlib 风格的数据处理

cloudpathlib 是模仿了python pathlib 接口格式的python 库,可以用来方便的进行云存储的数据处理

包含的特性

  • 与path 方式类似的访问
  • 支持s3,gcs,azure ,ftp 也在开发中
  • 可扩展
  • 读写支持
  • 无缝的cache 支持,可以按需进行cache 的处理
  • 方便测试

说明

fsspec 以及pyfilesys 偏向与fs 的处理,缺少对于类似python pathlib 方式的支持,cloudpathlib 可以很好的解决,但是目前
来说支持的云存储并不是特别多,主要还是当前一些主流类的,对于项目还是值得尝试的

参考资料

https://github.com/drivendataorg/cloudpathlib
https://cloudpathlib.drivendata.org/

posted on 2024-10-28 08:00  荣锋亮  阅读(10)  评论(0编辑  收藏  举报

导航