随笔分类 -  云存储

1 2 3 4 下一页

geesefs s3 fuse 文件系统实现
摘要：geesefs s3 fuse ，相比其他解决方案，geesefs 支持异步以及并行聚合 说明 geesefs 对于yandex 对象存储，amazon s3，cepg，minio，selectel s3，backblaze b2 ，openstack swift，azure blob storag 阅读全文

posted @ 2024-11-21 08:00 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

ossfs 禁用cache配置说明
摘要：ossfs 基于oss sdk 实现了与oss fs类似的能了，但是默认是有cache 的，尤其我们的long running 任务可能会影响，造成获取的数据是不是最新的，解决方法就是直接禁用cache 参考处理 # 通过临时调整cache有效期解决from ossfs import OSSFile 阅读全文

posted @ 2024-11-03 08:00 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

cloudpathlib 简单试用
摘要：通过minio 作为s3 存储进行测试 s3 准备 docker-compose version: "3" services: s3: image: minio/minio:latest ports: - 9000:9000 - 9001:9001 command: server /data --c 阅读全文

posted @ 2024-10-29 08:00 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

cloudpathlib 面向云存储的python pathlib 风格的数据处理
摘要：cloudpathlib 是模仿了python pathlib 接口格式的python 库，可以用来方便的进行云存储的数据处理 包含的特性 与path 方式类似的访问 支持s3，gcs，azure ，ftp 也在开发中 可扩展 读写支持 无缝的cache 支持，可以按需进行cache 的处理 方便测 阅读全文

posted @ 2024-10-28 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

自定义jinja2 loader 实现基于oss的prompt-poet 提示词模板存储
摘要：prompt-poet 默认支持的是基于本地文件系统或者直接模版内容的模式进行处理，对于实际使用上并不是很方便，可以通过简单的扩展jinja2 loader 实现基于fsspec 的模版加载，这么就可以支持各类存储的模型了，以下是一个简单示例，因为目前prompt-poet 内部处理是固定的，暂时只 阅读全文

posted @ 2024-10-14 06:40 荣锋亮 阅读(35) 评论(0) 推荐(0) 编辑

通过ossfs fsspec 扩展访问oss 数据
摘要：尽管oss 对于s3 客户端具有兼容性，直接通过s3fs 是可以直接访问oss 的，但是有不少缺陷（比如ls 的支持就有问题）ossfs 是基于oss client 实现的标准 fsspec 扩展，使用上很不错，对于文件系统常见操作支持的很好，以下是一个简单使用说明 参考使用 安装 pip inst 阅读全文

posted @ 2024-09-26 08:14 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

minio __XLDIR__ 后缀文件夹问题
摘要：最近在通过debug 模式调试dremio 文件写入处理的时候，发现dremio 目录包含了不少__XLDIR__ 后缀的对象（里边是空的，只是后缀包含了__XLDIR__ ） 参考图 问题 目前此问题minio github 上也有一些信息，理论上应该是解决了，但是我目前使用的是比较新的版本的，大 阅读全文

posted @ 2024-03-26 08:00 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

resurfaceio goreplay output-s3 minio 兼容处理
摘要：实际上此问题与以前版本goreplay对于s3 的支持是一样的 参考处理 添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL，具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中 参考使用 阅读全文

posted @ 2024-03-05 16:37 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

minio 支持基于yaml 的配置参数
摘要：minio 23 年底的一个版本中，支持了基于yaml 的配置参数，以前基于环境变量的模式还是支持的，只是yaml 成为一个首选模式 参考配置 yaml 配置 version: v1 address: ':9000' rootUser: 'minioadmin' rootPassword: 'pBU 阅读全文

posted @ 2024-01-24 09:19 荣锋亮 阅读(335) 评论(0) 推荐(0) 编辑

tusd 2.0 发布
摘要：tusd 是基于golang 开发的，对于tus 断点续传协议的实现，既可以做为server 使用，也可以使用golang 包，开发自己的文件存储服务2.0了有不少提升，核心主要是hook 系统，类似的nodejs server 也实现不少hook，支持IETF 协议了，同时也提升了网络可靠性 说明 阅读全文

posted @ 2023-09-30 11:29 荣锋亮 阅读(135) 评论(0) 推荐(0) 编辑

tus java client 使用以及问题说明
摘要：代码来自官方参考，支持在使用的时候发现了一些问题记录下 参考代码 App.java package org.example; import io.tus.java.client.*; import java.io.File; import java.io.IOException; import ja 阅读全文

posted @ 2023-09-19 13:02 荣锋亮 阅读(223) 评论(0) 推荐(0) 编辑

tus-node-server 官方基于node 实现的tus server 1.0 发布
摘要：tus-node-server 是基于typescript 开发的新的nodejs server，通过拆分为独立的包（file，s3，gcs， server ） 包含的特性 完全基于typescript 开发 拆分为了独立的包 提供了新的events 以及hooks 升级了依赖包 重新设计了存储 f 阅读全文

posted @ 2023-09-19 10:59 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

dperf minio 团队开源的磁盘性能测试工具
摘要：dperf minio 团队开源的磁盘性能测试工具 基于golang 开发，使用简单，类似的有fio 说明 相比fio dperf 没有那么多的参数，实际上dperf 核心似乎主要是为了方便minio 使用的，但是对于日常中需要测试一些磁盘问题也是可以的，可以用来发现磁盘的瓶颈 参考资料 https 阅读全文

posted @ 2023-08-06 12:06 荣锋亮 阅读(153) 评论(0) 推荐(0) 编辑

mountpoint-s3 新rpm包
摘要：最近mountpoint-s3 有了一些新的更新，构建了一个新的rpm 包方便支持centos 7 ，具体可以参考github 参考资料 https://github.com/awslabs/mountpoint-s3/commits/mainhttps://github.com/rongfengl 阅读全文

posted @ 2023-05-12 16:05 荣锋亮 阅读(26) 评论(1) 推荐(1) 编辑

juicefs 方便mac 进行utm 虚拟机的文件共享
摘要：以前写过基于sshfs 实现共享的，以下是一个基于juicefs的，可以参考 参考玩法 简单说明: 每个系统都挂载juicefs 参考使用 创建juicefs 依赖资源 version: '3' services: db: image: mysql:5.6 environment: - MYSQL_ 阅读全文

posted @ 2023-05-01 17:41 荣锋亮 阅读(70) 评论(0) 推荐(0) 编辑

通过sshfs 方便mac 进行utm 虚拟机的文件共享
摘要：基于utm 进行vm 管理，在mac 系统中是一个很不错的工具，但是默认因为一些vm 内核的问题，不能直接共享，很不方便 使用mac 系统开发好，然后通过scp 是一种方法，但是很多是否并不是很方便 参考集成玩法 简单说明: mac 系统安装fuse 包，之后直接将vm 中的目录通过sshfs 挂载 阅读全文

posted @ 2023-05-01 17:12 荣锋亮 阅读(505) 评论(0) 推荐(0) 编辑

minio 老版本mc admin update 问题
摘要：问题 mc: Unable to update the server. We encountered an internal error, please try again. (Server update failed, please do not restart the servers yet: 阅读全文

posted @ 2023-03-29 13:12 荣锋亮 阅读(618) 评论(0) 推荐(0) 编辑

minio server pool 的一些特点
摘要：minio server pool 是目前minio 官方推荐的集群扩容方案，使用上简单，算是做到了真的集群扩容能力，操作简单，维护成本并不是很大以下说明一些特点 特点 多个server pool 的都是可以上传的以及下载操作的，而且server pool 内的都可以看见所有文件 多个server 阅读全文

posted @ 2023-03-28 09:48 荣锋亮 阅读(406) 评论(0) 推荐(1) 编辑

fdb-record-layer 基于foundationdb 的record存储
摘要：fdb-record-layer 是在foundationdb上包装的一层工具层，可以简化日常的开发 包含的特性 结构化类型，基于了protobuf index 索引支持 复杂类型支持 list，嵌套record 查询，提供了查询api 可以方便使用 基于多record 存储共享schema 非常轻 阅读全文

posted @ 2023-03-12 23:08 荣锋亮 阅读(49) 评论(0) 推荐(0) 编辑

juicefs 1.0.3 集成 oceanbase 4.0 测试
摘要：以前我写过oceanbase ce 3.x 版本的，当时处理需要自己hack，目前测试的版本是juicefs 1.0.3 ，oceanbase ce 4.0 容器版 环境说明 oceanbase ce 4.0 基于docker-compose部署，juicefs 部署在linux 以及mac 机器中 阅读全文

posted @ 2023-02-16 19:42 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑

1 2 3 4 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示