基于minio s3 gateway 改造业务系统支持基于webhook的文件处理

文件上传是我们日常中比较常见的问题,而且我们很多时候是要进行额外的处理的
比如缩略图,数据加工(数据分析类的应用),按照传统的模式(本地数据盘,或者一些已知开源工具)
是不能很好的支持变动处理的,对于此类情况,我们基于s3 gateway 的webhook 能力,可以方便的实现
通知集成简化系统处理的复杂度

参考设计

 

 

简单说明

入口层包含一个强大的ingress 组件,进行系统流量分发,s3 gateway 代理我们不同的业务系统,面向nas的,本地磁盘的,或者
s3 的,这样数据可以通过s3的标准接口实现webhook能力,我们的webhook 进行状态存储同时可以提供一个task 实现不同s3 数据的
处理(比如excel读取,图片缩略图。。。),处理完成之后我们可以通过task 发送处理的数据以及结果到外部系统中

说明

以上是一个简单的实践,实际上基于minio s3 gateay 我们可以方便的改造我们的业务系统支持强大的s3能力,提供业务系统的灵活性
以及基于minio s3 gateway 实现数据的可观测性(prometheus metrics。。。)

参考资料

https://docs.min.io/minio/baremetal/monitoring/bucket-notifications/publish-events-to-webhook.html
https://docs.min.io/minio/baremetal/reference/minio-server/minio-gateway.html

posted on   荣锋亮  阅读(530)  评论(0编辑  收藏  举报

编辑推荐:
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· spring官宣接入deepseek,真的太香了~
历史上的今天:
2020-12-05 golang 死锁&&静态检查的一些工具
2020-12-05 spring cloud 应用集成prometheus 监控实现服务发现的一些方法
2019-12-05 使用jdk 容器镜像注意默认编码问题
2018-12-05 lapis 项目添加prometheus 监控
2018-12-05 lapis 1.7.0 更好的openresty 版本兼容以及安全数据库支持
2018-12-05 skipper backend 负载均衡配置
2018-12-05 skipper filter 扩展开发

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示