随笔分类 -  s3

1 2 3 4 5 下一页

zenoh s3 存储插件使用
摘要：s3 存储插件可以方便的将数据持久化到对象存储中，同时基于s3 插件的特点以及zenoh 的能力实现方便的数据读写分离 参考玩法 可以将数据写入到s3中，同时对于不同的策略可以实现读写分离（可以基于数据复制以及基于zenoh的数据路由），玩法特别多 参考配置 zenoh router 配置 { "i 阅读全文

posted @ 2024-12-21 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

通过ossfs fsspec 扩展访问oss 数据
摘要：尽管oss 对于s3 客户端具有兼容性，直接通过s3fs 是可以直接访问oss 的，但是有不少缺陷（比如ls 的支持就有问题）ossfs 是基于oss client 实现的标准 fsspec 扩展，使用上很不错，对于文件系统常见操作支持的很好，以下是一个简单使用说明 参考使用 安装 pip inst 阅读全文

posted @ 2024-09-26 08:14 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

minio __XLDIR__ 后缀文件夹问题
摘要：最近在通过debug 模式调试dremio 文件写入处理的时候，发现dremio 目录包含了不少__XLDIR__ 后缀的对象（里边是空的，只是后缀包含了__XLDIR__ ） 参考图 问题 目前此问题minio github 上也有一些信息，理论上应该是解决了，但是我目前使用的是比较新的版本的，大 阅读全文

posted @ 2024-03-26 08:00 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

minio sql 查询parquet文件
摘要：minio 支持sql 查询操作，属于一个比较方便的功能，对于parquet 功能的支持默认没开启，需要配置 参考配置 基于docker-compose 核心是MINIO_API_SELECT_PARQUET: on version: "3" services: minio: image: mini 阅读全文

posted @ 2024-03-04 22:41 荣锋亮 阅读(183) 评论(0) 推荐(0) 编辑

minio 支持基于yaml 的配置参数
摘要：minio 23 年底的一个版本中，支持了基于yaml 的配置参数，以前基于环境变量的模式还是支持的，只是yaml 成为一个首选模式 参考配置 yaml 配置 version: v1 address: ':9000' rootUser: 'minioadmin' rootPassword: 'pBU 阅读全文

posted @ 2024-01-24 09:19 荣锋亮 阅读(335) 评论(0) 推荐(0) 编辑

riak_cs elrang 的s3 存储服务
摘要：riak_cs是riak团队开发的s3兼容存储，基于了riak kv，目前似乎缺少维护了（毕竟已经有不少开源而且更加强大的s3实现了）riak_cs 基于erlang 开发，对于学习下设计还是比较有帮助的，同时也能学习下erlang 项目开发 说明 当然riak 做为一个分布式的no-sql 数据库 阅读全文

posted @ 2023-12-24 11:40 荣锋亮 阅读(20) 评论(0) 推荐(0) 编辑

mountpoint-s3 ga 并提供了安装包
摘要：mountpoint-s3 就在最近ga 了，同时还提供了rpm 以及deb 包，可以方便安装使用 安装 直接下载对应的包，安装就可以了，比如下载rpm 的然后yum install 就可以了，但是因为默认没有systemd 管理，需要自己配置 参考使用 环境配置 version: "3" serv 阅读全文

posted @ 2023-10-11 10:17 荣锋亮 阅读(31) 评论(0) 推荐(0) 编辑

aws awswrangler 集成minio 简单试用
摘要：aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称 以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法 环境准备 docker-compose 阅读全文

posted @ 2023-10-01 21:34 荣锋亮 阅读(89) 评论(0) 推荐(0) 编辑

pandas 加载minio 文件数据
摘要：就是一个简单记录，基于s3 进行文件存储还是比较方便的 环境准备 docker-compose.yaml version: '3' services: minio: image: minio/minio ports: - "9002:9000" - "19001:19001" environment 阅读全文

posted @ 2023-10-01 09:03 荣锋亮 阅读(167) 评论(0) 推荐(0) 编辑

通过ftp & sftp 进行minio 管理
摘要：minio 4.20 发布的版本支持基于ftp 以及sftp 进行minio 管理了，对于一些业务需要使用ftp 以及sftp 的就比较方便了 我们同时可以使用多协议模式进行minio 访问了 参考使用 docker-compose version: '3' services: app: image 阅读全文

posted @ 2023-06-09 08:53 荣锋亮 阅读(2023) 评论(3) 推荐(0) 编辑

minio 老版本mc admin update 问题
摘要：问题 mc: Unable to update the server. We encountered an internal error, please try again. (Server update failed, please do not restart the servers yet: 阅读全文

posted @ 2023-03-29 13:12 荣锋亮 阅读(618) 评论(0) 推荐(0) 编辑

minio 升级一些说明
摘要：minio 最近安全问题比较高发，而且基本都是比较高的安全风险，做好minio 的持续升级比较重要 升级操作 更新集群所有节点的minio 二进制程序 （也可以通过minio admin update ） 重启minio 集群（可以使用mc admin servie restart或者基于syste 阅读全文

posted @ 2023-03-29 12:46 荣锋亮 阅读(1749) 评论(0) 推荐(0) 编辑

使用nexus proxy 解决minio 升级软件包下载问题
摘要：minio mc 的admin 命令提供了方便的minio 集群升级能力，但是默认使用的是公网的，对于此种场景，官方是提供了不少方法：本地替换包，以及自己搞镜像 对于镜像模式nexus 是一个很不错的选择 参考玩法 nexus raw proxy 模式 参考配置 升级命令 命令 mc admin u 阅读全文

posted @ 2023-03-28 22:25 荣锋亮 阅读(269) 评论(0) 推荐(0) 编辑

minio server pool+domain模式实现静态website服务能力
摘要：基于server pool 的核心是提供一个灵活的扩容以及灾备能力，基于domain 约定方便进行数据路由，功能上类似aws s3 的 提供的website 托管能力 参考图 简单说明 bucket 格式 bucket 格式类似了aws s3 托管模式 .<minio_domain> domain 阅读全文

posted @ 2023-03-28 14:01 荣锋亮 阅读(498) 评论(0) 推荐(0) 编辑

minio server pool 的一些特点
摘要：minio server pool 是目前minio 官方推荐的集群扩容方案，使用上简单，算是做到了真的集群扩容能力，操作简单，维护成本并不是很大以下说明一些特点 特点 多个server pool 的都是可以上传的以及下载操作的，而且server pool 内的都可以看见所有文件 多个server 阅读全文

posted @ 2023-03-28 09:48 荣锋亮 阅读(406) 评论(0) 推荐(1) 编辑

minio server pool 进行集群扩容测试试用
摘要：minio 以前是推荐联邦解决集群的问题，但是现在已经废弃了，推荐通过server pool 模式进行集群的扩容处理，而且提供了比较全的命令，还是比较方便的以下是一个简单的测试：包含了两个server pool，将1的数据迁移到2中 环境准备 docker-compose 如下包含了两个server 阅读全文

posted @ 2023-03-27 20:22 荣锋亮 阅读(456) 评论(0) 推荐(0) 编辑

mountpoint-s3 rpm 包
摘要：为了方便linux 系统使用mountpoint-s3包（centos）基于自己构建的二进制程序+fpm 制作了一个rpm 可以方便大家使用 参考构建处理 命令 fpm -s dir -t rpm -n mountpoint-s3 --rpm-os linux -v v1.0.0_centos7 \ 阅读全文

posted @ 2023-03-27 16:07 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

mountpoint-s3 一些集成玩法
摘要：通过测试发现mountpoint-s3 可以支持多主机文件可见，对于基于s3 的挂载还是很不错的 一种参考玩法 简单说明 每个vm 可以运行一个mountpoint-s3 进程（目前主要是数据的读操作），对于数据的写入操作可以通过s3 gateway 或者直接通过s3 sdk 进行 说明 目前从官方 阅读全文

posted @ 2023-03-27 13:42 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

mountpoint-s3 linux 构建一些问题
摘要：依赖包问题 cmake3 yum install -y cmake3 clang 通过scl 解决 yum install centos-release-scl yum install llvm-toolset-7 scl enable llvm-toolset-7 bash fuse yum in 阅读全文

posted @ 2023-03-27 11:40 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑

juicefs 1.0.3 集成 oceanbase 4.0 测试
摘要：以前我写过oceanbase ce 3.x 版本的，当时处理需要自己hack，目前测试的版本是juicefs 1.0.3 ，oceanbase ce 4.0 容器版 环境说明 oceanbase ce 4.0 基于docker-compose部署，juicefs 部署在linux 以及mac 机器中 阅读全文

posted @ 2023-02-16 19:42 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑

1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示