随笔分类 -  minio

上一页 1 2 3 4 5 下一页

minfs 简单介绍
摘要：以前也介绍过minfs 的使用，但是当时miniofs 有一段时间是被直接项目归档了（当时应该是不推荐使用），但是最近的查看官方有开启了，理论上就是可以使用的，以前使用s3-fuse 比较多，实际山基于golang 编写的minfs 是更好的选择（运行简单） 功能说明 minfs 使用了blotdb 阅读全文

posted @ 2021-09-04 12:12 荣锋亮 阅读(709) 评论(0) 推荐(0) 编辑

几个不错的s3 压力测试工具
摘要：整理了一些s3 压力测试的工具,参考资料包含了完整的连接，但是比较推荐的是使用minio的warp（分布式，强大） warp 分布式测试架构 参考使用 混合模式（单机） warp mixed --host=s3-server{1...8}:9000 --access-key=minio --secr 阅读全文

posted @ 2021-09-04 11:59 荣锋亮 阅读(2676) 评论(0) 推荐(1) 编辑

minio来自官方的内核优化参数
摘要：内容来自github，还是比较有意义的 参考 #!/bin/bash ​ cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 ​ # use as little s 阅读全文

posted @ 2021-09-01 23:51 荣锋亮 阅读(2083) 评论(0) 推荐(0) 编辑

minio 集成webhook 事件通知
摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮 阅读(2251) 评论(0) 推荐(0) 编辑

集成minio sidekick & console 的测试
摘要：minio 官方目前提供了一个console 方便的管理工具，以下是一个参考运行demo 环境准备 docker-compose 文件 version: "3" services: minio1: image: minio/minio command: server http://minio{1.. 阅读全文

posted @ 2021-07-03 22:41 荣锋亮 阅读(3058) 评论(0) 推荐(0) 编辑

扩展cube.js的repositoryFactory 支持基于s3的schema 存储
摘要：cube.js 是一个很不错的数据分析框架（架构设计特别灵活，支持多种数据源的处理） 以下是扩展本地文件系统，方便的支持基于s3的后后端存储模型，以下主要说明关于 s3FileRepositoryFactory 的代码说明以及使用 参考代码 源码可以参考github rongfengliang/cu 阅读全文

posted @ 2021-01-26 11:45 荣锋亮 阅读(164) 评论(0) 推荐(0) 编辑

stream-to-promise stream 2 promise 的npm 包
摘要：好处就是简化callback的处理，以下是关于minio listobjects 的使用 参考代码 pacakge.json { "name": "app", "version": "1.0.0", "main": "index.js", "license": "MIT", "dependencie 阅读全文

posted @ 2021-01-25 23:09 荣锋亮 阅读(159) 评论(0) 推荐(0) 编辑

nginx proxy minio 默认页配置（三）
摘要：还是上边的那个问题，有一些场景，我们可能需要有自己的请求路径（不使用默认的location /） 比如api 与业务系统的请求路径是分开的（前后端分开部署的系统是最典型的） 解决方法 一样还是通过url rewrite，需要解决的问题就是比以前的多了一条，我们的rewrite 也是多了一条 参考ng 阅读全文

posted @ 2020-12-06 21:54 荣锋亮 阅读(538) 评论(2) 推荐(1) 编辑

nginx proxy minio 默认页配置（二)
摘要：前边有写过一个配置死的默认default 页面处理，以下是一个相对通用的nginx 集成minio 的默认页面配置 基本原理 核心原理还是url rewrite， 只是这次全部都放到了default 的location，同时使用了两次url rewrite 一次是添加/ 一次是进行s3 bukcet 阅读全文

posted @ 2020-12-06 21:23 荣锋亮 阅读(614) 评论(0) 推荐(0) 编辑

nginx proxy minio 默认页配置
摘要：原理很简单，就是基于nginx 的rewrite 自动处理模版bucket 的index page 处理 参考配置 环境准备 version: "3" services: nginx: image: openresty/openresty:alpine-fat ports: - "80:80" vo 阅读全文

posted @ 2020-12-06 19:41 荣锋亮 阅读(1320) 评论(0) 推荐(0) 编辑

nginx cache + imageproxy+minio 支持多级cache的图片缩放处理服务
摘要：以前有写过简单的基于imageproxy以及minio 的图片缩放服务，以下是一个集成nginx cache 增强imageproxy 的多级cache 能力 参考图 简单说明： iamgeproxy可以提供基于s3（minio）、内存、本地磁盘的cache 能力，同时我们的访问入口基于nginx， 阅读全文

posted @ 2020-11-03 20:21 荣锋亮 阅读(3021) 评论(1) 推荐(0) 编辑

monio系统性能分析相关命令
摘要：minio 的mc 是一个很不错的工具，提供了比较全的关于minio 的操作，比如系统的profile profile命令 可以生成profile 相关的（cpu,mem.block...） mc admin profile start --type cpu,mem,block <mc配置的endp 阅读全文

posted @ 2020-10-28 14:40 荣锋亮 阅读(618) 评论(0) 推荐(0) 编辑

jenkins+ rclone定时同步sftp数据到s3
摘要：一个简单任务场景，业务对账，同时需要备份请求的对账文件（sftp服务），所以使用了一个强大的支持 多种存储的工具rclone，然后定时自动同步到s3存储中，对于定时任务，使用jenkins（基于定时任务cron） 使用jenkins的好处是灵活可以随意配置，同时我们系统已经有了好多构建节点，具有冗余 阅读全文

posted @ 2020-10-23 13:29 荣锋亮 阅读(900) 评论(0) 推荐(0) 编辑

使用minio替换fastdfs 文件系统
摘要：一个实践，属于业务需求： 需求 fastdfs的灵活性以及安全控制上不是很方便，而且语言调用上也不方便，所以需要无缝的迁移老的 fastdfs到一个合适的分布式文件系统（语言友好，web友好，高性能，灵活） 原有架构模式 参考如图，很简单，也很标准基于group同名节点之间自动数据同步，同时使用ng 阅读全文

posted @ 2020-09-21 19:47 荣锋亮 阅读(4375) 评论(0) 推荐(0) 编辑

编译goreplay v1.1.0 minio 集成支持
摘要：goreplay 默认对于minio s3 的支持不是很好，所以修改了关于s3 的部分代码，可以方便的集成minio 需要修改的代码 注意pro 特性也是需要修改的 s3_reader.go 修改的不好，实际应该走环境变量 func awsConfig() *aws.Config { region 阅读全文

posted @ 2020-07-19 21:08 荣锋亮 阅读(357) 评论(0) 推荐(0) 编辑

monio 的一些安全实践
摘要：这个本来属于s3 的特性，但是我们在实际使用的过程中肯定不想别人直接可以通过浏览器或者http就可以可以我们的文件内容 这个属于安全的控制，以下是一个实践以及一些安全控制 一些原则 不能直接暴露minio 访问到公网环境（可以基于nginx，以及反向代理工具解决） 配置合理的bucket 策略，可以 阅读全文

posted @ 2020-07-18 21:15 荣锋亮 阅读(2600) 评论(0) 推荐(0) 编辑

minio+ nginx rewrite 实现saas租户的个性化管理
摘要：这个是一个基于minio+nginx的rewrite 实现的一个功能（类似micro frontend 模式） 参考架构 一张架构图 说明 因为当前大家主流的还是基于前后端分离的模式开发软件，组件+api 实现功能，但是很多时候好多租户对于功能有个性化需求，但是 系统在设计的时候因为时间问题+早期设 阅读全文

posted @ 2020-07-18 13:30 荣锋亮 阅读(1876) 评论(0) 推荐(1) 编辑

使用imageproxy+minio处理图片缩放
摘要：图片的缩放在日常开发中是一个挺有用的功能，已经有好多语言类库的实现了，但是基于proxy的模式会简单好多（高效，还能　cache。。。） willnorris/imageproxy 是一个不错的实现，以下是一个简单的使用 环境准备 docker-compose 文件 version: "3" ser 阅读全文

posted @ 2020-06-20 13:34 荣锋亮 阅读(8083) 评论(2) 推荐(2) 编辑

minio 关闭默认browser
摘要：minio 自带了一个browser，但是在实际生产使用中就很不好了，应该关掉 相关参数 环境变量 MINIO_BROWSER=off 即可 如果还需要使用browser的解决方法 我们可以基于minio提供的gatway 模式，以下是一个参考实践 基于docker-compose 部署，实际结合自 阅读全文

posted @ 2020-04-07 18:52 荣锋亮 阅读(5140) 评论(0) 推荐(0) 编辑

s3-fuse docker运行试用
摘要：s3-fuse 是一个很不错的基于fuse 暴露s3 数据为标准文件系统数据的扩展，以前有基于rpm包运行的demo 以下是基于docker-compose运行demo 一个参考案例 环境准备 docker-compose文件 version: "3" services: minio: image: 阅读全文

posted @ 2020-04-07 18:43 荣锋亮 阅读(1707) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示