随笔分类 -  s3

上一页 1 2 3 4 5 下一页

minio+avc+rclone 集成试用
摘要：avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用 环境准备 安装avc+rclone 工具 可以通过官方下载使用 docker-compose version: '3' services: minio: image: minio/minio ports: 阅读全文

posted @ 2023-01-06 11:34 荣锋亮 阅读(96) 评论(0) 推荐(0) 编辑

minio 一些配置策略
摘要：整理一些策略，方便使用 参考配置 获取删除上传下载 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:GetObject", "s3:PutOb 阅读全文

posted @ 2022-11-08 18:38 荣锋亮 阅读(651) 评论(0) 推荐(1) 编辑

minio policy 使用
摘要：minio 参考aws s3 实现了用户的iam 访问控制，使用体验是一致的，而且比较方便，比如我们创建了一个用户或者组之后就需要进行权限创建分配 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio port 阅读全文

posted @ 2022-11-08 18:36 荣锋亮 阅读(982) 评论(0) 推荐(0) 编辑

新版本nexus minio 集成测试
摘要：主要是nexus 变化比较大了，刚好学习下，看看新版本对于minio 的支持情况了（依然支持），测试的版本是3.42 环境准备 docker-compose 文件 version: '3' services: minio: image: minio/minio ports: - "9002:9000 阅读全文

posted @ 2022-11-01 19:55 荣锋亮 阅读(435) 评论(0) 推荐(0) 编辑

使用nginx limit_except 保护暴露外网的minio 服务
摘要：minio 做为比较热门的开源s3 服务，受到好多团队的青睐，使用率还是比较高的，如果我们的服务是部署在内网的还好 一般不用太担忧安全问题（但是也得做好内网的安全防护），但是如果直接将s3 服务暴露到公网问题就比较多了，解决 方法很多，比如使用waf，自己配置一些安全策略，以下是基于nginx li 阅读全文

posted @ 2022-10-26 21:42 荣锋亮 阅读(1304) 评论(0) 推荐(0) 编辑

minio 对象存储部署一些说明
摘要：一个minio 简单部署使用说明，以前写过一些简单的，主要扩展下，对于优化相关的具体可以参考官方的以及linux 相关优化的文章 参考部署 可靠性玩法 可以开启多版本 开启复制（可以是跨站点，跨minio 集群，以及bucket） 禁用console （MINIO_BROWSER=off），如果需要 阅读全文

posted @ 2022-10-26 20:34 荣锋亮 阅读(546) 评论(0) 推荐(0) 编辑

nodejs 通过s3fs 处理文件
摘要：s3fs 是一个不错的nodejs fs s3 接口实现，我们基于此可以访问s3 文件，可以方便的简化文件存储 参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文

posted @ 2022-06-03 22:27 荣锋亮 阅读(106) 评论(0) 推荐(0) 编辑

minio Error: Storage resources are insufficient for the read operation 问题参考解决
摘要：今天在重启一个minio 服务的时候发现这个异常信息，实际上此问题并不是什么大事，主要分为以下场景 初始化的时候 初始化的时候最好查看自己的配置，以及存储类型时候有问题 已经运行了 对于已经运行的实际上不会有太大问题的，因为minio的纠删码机制还是很可靠的，只要在官方要求的配置下一般是不会出现问题 阅读全文

posted @ 2022-05-06 10:43 荣锋亮 阅读(4314) 评论(0) 推荐(0) 编辑

基于s3的一种luarocks 私服多租户解决方案
摘要：参考图 细节说明：我们基于s3 进行rock 的存储，对于不同用户（租户）的我们可以选择使用不同的s3 bucket，同时还会读取rock 的元数据信息，存放到数据库中（可以基于mongo 或者其他nosql 数据库） 说明 以上是一个简单的集成，对于api 部分，我们很多时候直接复用luarock 阅读全文

posted @ 2022-05-04 23:26 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑

minio 来自官方的一些学习资料-gateway 即将废弃
摘要：具体的可以参考链接，但是官方gateway 即将移除核心代码库是一个比较重要的事情 参考资料 https://resources.min.io/april-2022-newsletter/the-architects-guide-software-defined-object-storagehttp 阅读全文

posted @ 2022-04-28 22:30 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

部署时创建minio bucket 的方法
摘要：参考玩法 如果我们在minio 启动的数据目录中直接创建文件夹，就会直接暴露为s3 bucket，比较适合的场景是系统部署的时候 需要依赖一个s3 bucket，我们可以直接先创建好 docker-compose 运行 docker-compose 文件 version: '3' services: 阅读全文

posted @ 2022-03-31 23:05 荣锋亮 阅读(2408) 评论(0) 推荐(0) 编辑

minio 系统自动纠删码处理算法简单说明
摘要：内容来自web的计算使用，可能会有不一致的地方，建议参考官方文档（理论上server 端以及web 端应该是一致的） 参考处理 主要是以下js 处理的 https://min.io/static/js/min-72976390afcf/page/erasure-code-calculator.js 阅读全文

posted @ 2022-03-27 20:44 荣锋亮 阅读(737) 评论(0) 推荐(0) 编辑

minio 4*4 集群 故障测试
摘要：因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1131) 评论(0) 推荐(0) 编辑

minio 纠删码测试
摘要：官方提供了一个纠删码以及存储空间计算的，比价有参考价值,方便我们了解部署的系统服务可用性情况 参考使用 以下是4节点，4 driver 的情况，基于此可以了解系统容错情况 参考资料 https://min.io/product/erasure-code-calculator 阅读全文

posted @ 2022-03-26 13:42 荣锋亮 阅读(226) 评论(0) 推荐(0) 编辑

minio 支持移除server pool
摘要：从minio 2022-01-25 版本开始，官方就支持了一种server pool 的退役操作，主要的常见是服务器资源过了生命周期（当然对于扩容，也是可以凑合使用的，只是迁移时间可能会比较长） 说明 server pool 的退役操作是永久的不能回退必须注意，后边可以测试下,很久没太关注minio 阅读全文

posted @ 2022-03-01 23:27 荣锋亮 阅读(328) 评论(0) 推荐(0) 编辑

lakefs metadata 集成
摘要：lakefs 为了更好的支持hive 以及glue单独开发了metadata 同步的命令（基于metadata 的thrift rpc 协议） 主要解决的问题 比如我们在main分支创建了table，然后我们开发了dev 分支，如果基于hive 的metadata 进行数据查询就有问题了 此时就可以 阅读全文

posted @ 2022-02-12 21:57 荣锋亮 阅读(61) 评论(0) 推荐(0) 编辑

lakefs 周边生态集成
摘要：lakefs 集成的周边还是很多的，核心还是利用了s3 的特性，核心主要玩法以下 直接利用s3特性 比如delta lake，spark,airbyte,kafka,dremio 基于hdfs 使用s3a扩展进行hdfs集成 hive 元数据集成 实际上还是s3 的特性，只是基于git 的特性扩展了 阅读全文

posted @ 2022-02-12 21:14 荣锋亮 阅读(183) 评论(0) 推荐(0) 编辑

lakefs 监控
摘要：lakefs 提供了prometheus 的metrics 用来搞监控还是很方便的，而且强大，可以做到性能报警 目前提供的metrics api 请求总数 api 请求延迟 gateway 请求延迟（s3） s3 操作延迟 gs、azure 操作 go_sql 操作（基于sqlstats） 参考资料 阅读全文

posted @ 2022-02-12 11:45 荣锋亮 阅读(62) 评论(0) 推荐(0) 编辑

lakefs hooks 试用
摘要：lakefs 的hooks 是一种比较灵活的能力，我们基于此可以实现数据的加工处理，同时也算是一种弥补lakefs s3 事件的处理 环境准备 docker-compose version: '3' services: lakefs: image: "treeverse/lakefs:${VERSI 阅读全文

posted @ 2022-02-12 11:35 荣锋亮 阅读(60) 评论(0) 推荐(0) 编辑

lakefs 分支模型
摘要：lakefs 尽管是支持了类似git 的分支模型，但是了解处理机制还是比较重要的，至少可以更好的利用lakefs进行系统的建设 repositories lakefs 的repository 是一个逻辑namespace，用来组合分支，对象，以及提交，和s3 的bucket 是相似的 branche 阅读全文

posted @ 2022-02-11 21:33 荣锋亮 阅读(138) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示