2024年9月26日

通过ossfs fsspec 扩展访问oss 数据

摘要: 尽管oss 对于s3 客户端具有兼容性,直接通过s3fs 是可以直接访问oss 的,但是有不少缺陷(比如ls 的支持就有问题)ossfs 是基于oss client 实现的标准 fsspec 扩展,使用上很不错,对于文件系统常见操作支持的很好,以下是一个简单使用说明 参考使用 安装 pip inst 阅读全文

posted @ 2024-09-26 08:14 荣锋亮 阅读(43) 评论(0) 推荐(0) 编辑

kedro package 项目运行内部处理

摘要: kedro package 会将开发的data pipeline 项目构建为一个标准的python whl 格式包(build 模块),之后我们就可以直接基于项目模块运行开发的pipeline 了,以下简单说明下内部处理 项目结构 为了将kedro pipeline 项目提供为一个可以通过模块直接运 阅读全文

posted @ 2024-09-26 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

导航