cloudpathlib 面向云存储的python pathlib 风格的数据处理

cloudpathlib 是模仿了python pathlib 接口格式的python 库，可以用来方便的进行云存储的数据处理

包含的特性

  • 与path 方式类似的访问
  • 支持s3，gcs，azure ，ftp 也在开发中
  • 可扩展
  • 读写支持
  • 无缝的cache 支持，可以按需进行cache 的处理
  • 方便测试

说明

fsspec 以及pyfilesys 偏向与fs 的处理，缺少对于类似python pathlib 方式的支持，cloudpathlib 可以很好的解决，但是目前
来说支持的云存储并不是特别多，主要还是当前一些主流类的，对于项目还是值得尝试的

参考资料

https://github.com/drivendataorg/cloudpathlib
https://cloudpathlib.drivendata.org/

posted on   荣锋亮  阅读(15)  评论(0)  编辑  收藏  举报

相关博文：
· pyfilesystem python 通用文件系统抽象
· cloudpathlib 简单试用
· Python 路径库pathlib
· pathlib -- 面向对象的文件系统路径
· geopandas安装
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2021-10-28 dremio 19.0 新特性
2020-10-28 boundary 基于身份标示的动态基础设施管理工具
2020-10-28 使用path 格式获取java hashmap key 值
2020-10-28 Kubeapps-2.0 发布了
2020-10-28 monio系统性能分析相关命令
2019-10-28 pg_flame postgresql EXPLAIN ANALYZE 火焰图工具
2017-10-28 几个开源faas 框架

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示