随笔分类 -  minio

1 2 3 4 5 下一页

minio __XLDIR__ 后缀文件夹问题
摘要：最近在通过debug 模式调试dremio 文件写入处理的时候，发现dremio 目录包含了不少__XLDIR__ 后缀的对象（里边是空的，只是后缀包含了__XLDIR__ ） 参考图 问题 目前此问题minio github 上也有一些信息，理论上应该是解决了，但是我目前使用的是比较新的版本的，大 阅读全文

posted @ 2024-03-26 08:00 荣锋亮 阅读(121) 评论(0) 推荐(0) 编辑

resurfaceio goreplay output-s3 minio 兼容处理
摘要：实际上此问题与以前版本goreplay对于s3 的支持是一样的 参考处理 添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL，具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中 参考使用 阅读全文

posted @ 2024-03-05 16:37 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

minio sql 查询parquet文件
摘要：minio 支持sql 查询操作，属于一个比较方便的功能，对于parquet 功能的支持默认没开启，需要配置 参考配置 基于docker-compose 核心是MINIO_API_SELECT_PARQUET: on version: "3" services: minio: image: mini 阅读全文

posted @ 2024-03-04 22:41 荣锋亮 阅读(183) 评论(0) 推荐(0) 编辑

minio 支持基于yaml 的配置参数
摘要：minio 23 年底的一个版本中，支持了基于yaml 的配置参数，以前基于环境变量的模式还是支持的，只是yaml 成为一个首选模式 参考配置 yaml 配置 version: v1 address: ':9000' rootUser: 'minioadmin' rootPassword: 'pBU 阅读全文

posted @ 2024-01-24 09:19 荣锋亮 阅读(335) 评论(0) 推荐(0) 编辑

minio 新的minio grid server 通信框架
摘要：在最近的minio 发布中，官方介绍了一个内部实现minio grid 可以实现基于websocket 的server 通信，可以提升集群的server 数量，比较适合小，中型的数据通信任务，看着很不错，值得看看 参考资料 https://github.com/minio/minio/blob/ma 阅读全文

posted @ 2023-12-05 11:18 荣锋亮 阅读(49) 评论(0) 推荐(0) 编辑

aws awswrangler 集成minio 简单试用
摘要：aws awswrangler 现在已经改名为aws-sdk-pandas，但是对于python 使用的时候安装已经是使用awswrangler 名称 以下是一个简单的集成 minio 的测试，核心是配置环境变量，这个也比较符合aws 对于相关资源的集成玩法 环境准备 docker-compose 阅读全文

posted @ 2023-10-01 21:34 荣锋亮 阅读(89) 评论(0) 推荐(0) 编辑

通过ftp & sftp 进行minio 管理
摘要：minio 4.20 发布的版本支持基于ftp 以及sftp 进行minio 管理了，对于一些业务需要使用ftp 以及sftp 的就比较方便了 我们同时可以使用多协议模式进行minio 访问了 参考使用 docker-compose version: '3' services: app: image 阅读全文

posted @ 2023-06-09 08:53 荣锋亮 阅读(2023) 评论(3) 推荐(0) 编辑

minio 老版本mc admin update 问题
摘要：问题 mc: Unable to update the server. We encountered an internal error, please try again. (Server update failed, please do not restart the servers yet: 阅读全文

posted @ 2023-03-29 13:12 荣锋亮 阅读(618) 评论(0) 推荐(0) 编辑

minio 升级一些说明
摘要：minio 最近安全问题比较高发，而且基本都是比较高的安全风险，做好minio 的持续升级比较重要 升级操作 更新集群所有节点的minio 二进制程序 （也可以通过minio admin update ） 重启minio 集群（可以使用mc admin servie restart或者基于syste 阅读全文

posted @ 2023-03-29 12:46 荣锋亮 阅读(1749) 评论(0) 推荐(0) 编辑

使用nexus proxy 解决minio 升级软件包下载问题
摘要：minio mc 的admin 命令提供了方便的minio 集群升级能力，但是默认使用的是公网的，对于此种场景，官方是提供了不少方法：本地替换包，以及自己搞镜像 对于镜像模式nexus 是一个很不错的选择 参考玩法 nexus raw proxy 模式 参考配置 升级命令 命令 mc admin u 阅读全文

posted @ 2023-03-28 22:25 荣锋亮 阅读(269) 评论(0) 推荐(0) 编辑

minio server pool+domain模式实现静态website服务能力
摘要：基于server pool 的核心是提供一个灵活的扩容以及灾备能力，基于domain 约定方便进行数据路由，功能上类似aws s3 的 提供的website 托管能力 参考图 简单说明 bucket 格式 bucket 格式类似了aws s3 托管模式 .<minio_domain> domain 阅读全文

posted @ 2023-03-28 14:01 荣锋亮 阅读(498) 评论(0) 推荐(0) 编辑

minio server pool 的一些特点
摘要：minio server pool 是目前minio 官方推荐的集群扩容方案，使用上简单，算是做到了真的集群扩容能力，操作简单，维护成本并不是很大以下说明一些特点 特点 多个server pool 的都是可以上传的以及下载操作的，而且server pool 内的都可以看见所有文件 多个server 阅读全文

posted @ 2023-03-28 09:48 荣锋亮 阅读(406) 评论(0) 推荐(1) 编辑

minio server pool 进行集群扩容测试试用
摘要：minio 以前是推荐联邦解决集群的问题，但是现在已经废弃了，推荐通过server pool 模式进行集群的扩容处理，而且提供了比较全的命令，还是比较方便的以下是一个简单的测试：包含了两个server pool，将1的数据迁移到2中 环境准备 docker-compose 如下包含了两个server 阅读全文

posted @ 2023-03-27 20:22 荣锋亮 阅读(456) 评论(0) 推荐(0) 编辑

mountpoint-s3 rpm 包
摘要：为了方便linux 系统使用mountpoint-s3包（centos）基于自己构建的二进制程序+fpm 制作了一个rpm 可以方便大家使用 参考构建处理 命令 fpm -s dir -t rpm -n mountpoint-s3 --rpm-os linux -v v1.0.0_centos7 \ 阅读全文

posted @ 2023-03-27 16:07 荣锋亮 阅读(79) 评论(0) 推荐(0) 编辑

mountpoint-s3 一些集成玩法
摘要：通过测试发现mountpoint-s3 可以支持多主机文件可见，对于基于s3 的挂载还是很不错的 一种参考玩法 简单说明 每个vm 可以运行一个mountpoint-s3 进程（目前主要是数据的读操作），对于数据的写入操作可以通过s3 gateway 或者直接通过s3 sdk 进行 说明 目前从官方 阅读全文

posted @ 2023-03-27 13:42 荣锋亮 阅读(99) 评论(0) 推荐(0) 编辑

mountpoint-s3 linux 构建一些问题
摘要：依赖包问题 cmake3 yum install -y cmake3 clang 通过scl 解决 yum install centos-release-scl yum install llvm-toolset-7 scl enable llvm-toolset-7 bash fuse yum in 阅读全文

posted @ 2023-03-27 11:40 荣锋亮 阅读(65) 评论(0) 推荐(0) 编辑

mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端
摘要：mountpoint-s3 aws 开源的基于fuse 的高性能s3 挂载本地文件系统客户端 特性 当前主要是处理读场景，暂时不支持写入场景，还在规划中 兼容性，主要是aws的s3 服务，应该是可以和其他s3 存储服务兼容 当前不会进行cache 对象数据以及元数据 构建 参考命令 git clon 阅读全文

posted @ 2023-03-27 10:34 荣锋亮 阅读(271) 评论(0) 推荐(0) 编辑

使用lavinmq 做为minio amqp 消息服务
摘要：环境准备 docker-compose version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment: MINIO_ACCESS_KEY: minio MINIO_S 阅读全文

posted @ 2022-12-01 12:42 荣锋亮 阅读(104) 评论(0) 推荐(0) 编辑

minio 一些配置策略
摘要：整理一些策略，方便使用 参考配置 获取删除上传下载 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetObject", "s3:PutOb 阅读全文

posted @ 2022-11-08 18:38 荣锋亮 阅读(651) 评论(0) 推荐(1) 编辑

minio policy 使用
摘要：minio 参考aws s3 实现了用户的iam 访问控制，使用体验是一致的，而且比较方便，比如我们创建了一个用户或者组之后就需要进行权限创建分配 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio port 阅读全文

posted @ 2022-11-08 18:36 荣锋亮 阅读(979) 评论(0) 推荐(0) 编辑

1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示