随笔分类 -  minio

上一页 1 2 3 4 5 下一页

新版本nexus minio 集成测试
摘要：主要是nexus 变化比较大了，刚好学习下，看看新版本对于minio 的支持情况了（依然支持），测试的版本是3.42 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9002:9000 阅读全文

posted @ 2022-11-01 19:55 荣锋亮 阅读(435) 评论(0) 推荐(0) 编辑

使用haproxy 代理minio
摘要：主要是测试下基于haproxy 代理minio ，比较简单 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9000:9000" - "19001:19001" environment 阅读全文

posted @ 2022-10-30 19:25 荣锋亮 阅读(573) 评论(0) 推荐(0) 编辑

使用nginx limit_except 保护暴露外网的minio 服务
摘要：minio 做为比较热门的开源s3 服务，受到好多团队的青睐，使用率还是比较高的，如果我们的服务是部署在内网的还好 一般不用太担忧安全问题（但是也得做好内网的安全防护），但是如果直接将s3 服务暴露到公网问题就比较多了，解决 方法很多，比如使用waf，自己配置一些安全策略，以下是基于nginx li 阅读全文

posted @ 2022-10-26 21:42 荣锋亮 阅读(1304) 评论(0) 推荐(0) 编辑

minio 对象存储部署一些说明
摘要：一个minio 简单部署使用说明，以前写过一些简单的，主要扩展下，对于优化相关的具体可以参考官方的以及linux 相关优化的文章 参考部署 可靠性玩法 可以开启多版本 开启复制（可以是跨站点，跨minio 集群，以及bucket） 禁用console （MINIO_BROWSER=off），如果需要 阅读全文

posted @ 2022-10-26 20:34 荣锋亮 阅读(546) 评论(0) 推荐(0) 编辑

minio gateway nas 参考配置
摘要：主要记录下运行说明 参考命令 /usr/local/bin/minio gateway nas --help NAME: minio gateway nas - Network-attached storage (NAS) USAGE: minio gateway nas [FLAGS] PATH 阅读全文

posted @ 2022-10-22 01:08 荣锋亮 阅读(891) 评论(0) 推荐(0) 编辑

nodejs 通过s3fs 处理文件
摘要：s3fs 是一个不错的nodejs fs s3 接口实现，我们基于此可以访问s3 文件，可以方便的简化文件存储 参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文

posted @ 2022-06-03 22:27 荣锋亮 阅读(106) 评论(0) 推荐(0) 编辑

nodejs 文件到s3的几种方法
摘要：s3 是一个很不错的文件存储以及管理系统，很多时候我们简化文件处理（比如大文件或者，需要同步处理的） 参考使用 参考图 从工具以及代码层面 简单说明 工具上，我们可以直接将s3 暴露为一个普通的文件系统（一般都fuse）然后就可以按照标准的文件操作了，可以简单对于s3连接的处理，但是也是有缺点的就是 阅读全文

posted @ 2022-06-03 19:06 荣锋亮 阅读(514) 评论(0) 推荐(0) 编辑

minio Error: Storage resources are insufficient for the read operation 问题参考解决
摘要：今天在重启一个minio 服务的时候发现这个异常信息，实际上此问题并不是什么大事，主要分为以下场景 初始化的时候 初始化的时候最好查看自己的配置，以及存储类型时候有问题 已经运行了 对于已经运行的实际上不会有太大问题的，因为minio的纠删码机制还是很可靠的，只要在官方要求的配置下一般是不会出现问题 阅读全文

posted @ 2022-05-06 10:43 荣锋亮 阅读(4314) 评论(0) 推荐(0) 编辑

minio 来自官方的一些学习资料-gateway 即将废弃
摘要：具体的可以参考链接，但是官方gateway 即将移除核心代码库是一个比较重要的事情 参考资料 https://resources.min.io/april-2022-newsletter/the-architects-guide-software-defined-object-storagehttp 阅读全文

posted @ 2022-04-28 22:30 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

部署时创建minio bucket 的方法
摘要：参考玩法 如果我们在minio 启动的数据目录中直接创建文件夹，就会直接暴露为s3 bucket，比较适合的场景是系统部署的时候 需要依赖一个s3 bucket，我们可以直接先创建好 docker-compose 运行 docker-compose 文件 version: '3' services: 阅读全文

posted @ 2022-03-31 23:05 荣锋亮 阅读(2408) 评论(0) 推荐(0) 编辑

minio 系统自动纠删码处理算法简单说明
摘要：内容来自web的计算使用，可能会有不一致的地方，建议参考官方文档（理论上server 端以及web 端应该是一致的） 参考处理 主要是以下js 处理的 https://min.io/static/js/min-72976390afcf/page/erasure-code-calculator.js 阅读全文

posted @ 2022-03-27 20:44 荣锋亮 阅读(737) 评论(0) 推荐(0) 编辑

minio 4*4 集群 故障测试
摘要：因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1131) 评论(0) 推荐(0) 编辑

minio 纠删码测试
摘要：官方提供了一个纠删码以及存储空间计算的，比价有参考价值,方便我们了解部署的系统服务可用性情况 参考使用 以下是4节点，4 driver 的情况，基于此可以了解系统容错情况 参考资料 https://min.io/product/erasure-code-calculator 阅读全文

posted @ 2022-03-26 13:42 荣锋亮 阅读(226) 评论(0) 推荐(0) 编辑

minio 支持移除server pool
摘要：从minio 2022-01-25 版本开始，官方就支持了一种server pool 的退役操作，主要的常见是服务器资源过了生命周期（当然对于扩容，也是可以凑合使用的，只是迁移时间可能会比较长） 说明 server pool 的退役操作是永久的不能回退必须注意，后边可以测试下,很久没太关注minio 阅读全文

posted @ 2022-03-01 23:27 荣锋亮 阅读(328) 评论(0) 推荐(0) 编辑

使用minio 做为lakefs 的数据存储
摘要：lakefs 提供了专门的存储adapter，所以支持各类还是比较方便的，官方已经内置了不少存储适配 以下是简单的集成minio 环境准备 docker-compose文件 注意集成了dremio，dremio 添加了jprofiler扩展 version: '3' services: lakefs 阅读全文

posted @ 2022-02-10 11:59 荣锋亮 阅读(372) 评论(0) 推荐(0) 编辑

juicefs 多s3 bucket 使用
摘要：juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用 环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮 阅读(468) 评论(0) 推荐(0) 编辑

juicefs s3 gateway 试用
摘要：前边说明juicefs 支持对象存储进行分布式部署，我们以及minio进行了部署测试，以下是测试s3 gateway 目的 我们以及基于s3进行了存储提供，然后又使用s3 gateway 主要是更好的进行文件访问，因为s3 存储的是chunk块文件 基于s3 gateaway 我们可以更好的进行存储 阅读全文

posted @ 2021-12-28 00:09 荣锋亮 阅读(507) 评论(0) 推荐(0) 编辑

基于minio s3 gateway 改造业务系统支持基于webhook的文件处理
摘要：文件上传是我们日常中比较常见的问题，而且我们很多时候是要进行额外的处理的比如缩略图，数据加工（数据分析类的应用），按照传统的模式（本地数据盘，或者一些已知开源工具）是不能很好的支持变动处理的，对于此类情况，我们基于s3 gateway 的webhook 能力，可以方便的实现通知集成简化系统处理的复杂 阅读全文

posted @ 2021-12-05 10:57 荣锋亮 阅读(533) 评论(0) 推荐(1) 编辑

nginx 作为s3 的gateway
摘要：nginx 自己出了一个s3 的gateway ，原理上是基于njs 编写的，同时利用了xsl 模块功能上是一个不错的选择但是就是有点太弱了，而且s3 的兼容性是一个问题（不好说能兼容多少，需要测试） 主要的使用场景 可选认证 cache 压缩 限速 说明 官方目前没有发布docker 镜像，我已经 阅读全文

posted @ 2021-12-05 10:11 荣锋亮 阅读(929) 评论(0) 推荐(0) 编辑

基于minfs 的静态网站部署模式
摘要：参考图 说明 主要是基于minfs 挂载s3 bucket，构建的代码可以直接到linux 直接（挂载s3的数据目录），同时为了方便维护，我们也可以直接到s3（数据直接到s3），以上是集成了多种模式的，从机制上都是到s3，但是为了简化大家的使用，将s3挂载为文件系统会保持现有系统业务使用的一致性，当 阅读全文

posted @ 2021-09-04 13:36 荣锋亮 阅读(300) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示