lakefs 对象模型-对象存储
摘要：了解lakefs 的对象模型对于我们更好的学习lakefs 是比较重要的 lakefs 对象存储 对象存储借鉴自s3，包含一些特性 包含一些内容，无限大小以及格式 一些元数据，大小，创建时间，时间戳，内容检查值， 一些用户自定义的元数据 和其他对象存储类似，lakfe 的对象是不可变的，不能重写，可
阅读全文
posted @ 2022-02-11 19:33
随笔分类 - s3
lakefs sdk 使用
摘要：因为lakefs 是基于openapi 开发的后端，所以提供sdk 是很简单的，同时官方的sdk就是基于代码生成的 构建sdk 官方提供了中央仓库里的，也可以自己构建 java 版本自己构建 cd clients/java mvn clean package install -Dmaven.test
阅读全文
posted @ 2022-02-10 19:04
lakefs 组件
摘要：参考图 组件 s3 gateway api 提供了s3 兼容的api，目前包含了s3 子集，并不是完整实现， https://docs.lakefs.io/reference/s3.html 了解具体兼容 openapi server 基于openapi 规范，实现的crud 操作，同时包含了分支，
阅读全文
posted @ 2022-02-10 19:02
使用juicefs 解决基于s3做为git 存储的问题
摘要：开发一个自定义的git server 实际上是比较有意思的，而且很多时候也能解决我们好多问题 一些场景 基于git 的配置管理 基于git 的数据同步 基于git 的数据备份 存储的问题 对于git的数据存储，我们有几种方法，本地，共享存储（nas,nfs） 本地的问题很明显，不能共享，使用有点费事
阅读全文
posted @ 2022-02-02 13:53
juicefs csi 集成试用
摘要：主要是一个试用，对于k8s 使用了minikube minikube 安装 这个直接可以参考官方文档 (注意可能需要合理上网) curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64
阅读全文
posted @ 2022-01-06 00:00
juicefs 多s3 bucket 使用
摘要：juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用 环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K
阅读全文
posted @ 2021-12-28 13:27
juicefs s3 gateway 试用
摘要：前边说明juicefs 支持对象存储进行分布式部署，我们以及minio进行了部署测试，以下是测试s3 gateway 目的 我们以及基于s3进行了存储提供，然后又使用s3 gateway 主要是更好的进行文件访问，因为s3 存储的是chunk块文件 基于s3 gateaway 我们可以更好的进行存储
阅读全文
posted @ 2021-12-28 00:09
基于minio s3 gateway 改造业务系统支持基于webhook的文件处理
摘要：文件上传是我们日常中比较常见的问题，而且我们很多时候是要进行额外的处理的比如缩略图，数据加工（数据分析类的应用），按照传统的模式（本地数据盘，或者一些已知开源工具）是不能很好的支持变动处理的，对于此类情况，我们基于s3 gateway 的webhook 能力，可以方便的实现通知集成简化系统处理的复杂
阅读全文
posted @ 2021-12-05 10:57
nginx 作为s3 的gateway
摘要：nginx 自己出了一个s3 的gateway ，原理上是基于njs 编写的，同时利用了xsl 模块功能上是一个不错的选择但是就是有点太弱了，而且s3 的兼容性是一个问题（不好说能兼容多少，需要测试） 主要的使用场景 可选认证 cache 压缩 限速 说明 官方目前没有发布docker 镜像，我已经
阅读全文
posted @ 2021-12-05 10:11
基于minfs 的静态网站部署模式
摘要：参考图 说明 主要是基于minfs 挂载s3 bucket，构建的代码可以直接到linux 直接（挂载s3的数据目录），同时为了方便维护，我们也可以直接到s3（数据直接到s3），以上是集成了多种模式的，从机制上都是到s3，但是为了简化大家的使用，将s3挂载为文件系统会保持现有系统业务使用的一致性，当
阅读全文
posted @ 2021-09-04 13:36
minfs 简单介绍
摘要：以前也介绍过minfs 的使用，但是当时miniofs 有一段时间是被直接项目归档了（当时应该是不推荐使用），但是最近的查看官方有开启了，理论上就是可以使用的，以前使用s3-fuse 比较多，实际山基于golang 编写的minfs 是更好的选择（运行简单） 功能说明 minfs 使用了blotdb
阅读全文
posted @ 2021-09-04 12:12
几个不错的s3 压力测试工具
摘要：整理了一些s3 压力测试的工具,参考资料包含了完整的连接，但是比较推荐的是使用minio的warp（分布式，强大） warp 分布式测试架构 参考使用 混合模式（单机） warp mixed --host=s3-server{1...8}:9000 --access-key=minio --secr
阅读全文
posted @ 2021-09-04 11:59
minio来自官方的内核优化参数
摘要：内容来自github，还是比较有意义的 参考 #!/bin/bash cat > sysctl.conf <<EOF # maximum number of open files/file descriptors fs.file-max = 4194303 # use as little s
阅读全文
posted @ 2021-09-01 23:51
minio 集成webhook 事件通知
摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i
阅读全文
posted @ 2021-09-01 23:21
nginx proxy minio 默认页配置（三）
摘要：还是上边的那个问题，有一些场景，我们可能需要有自己的请求路径（不使用默认的location /） 比如api 与业务系统的请求路径是分开的（前后端分开部署的系统是最典型的） 解决方法 一样还是通过url rewrite，需要解决的问题就是比以前的多了一条，我们的rewrite 也是多了一条 参考ng
阅读全文
posted @ 2020-12-06 21:54
nginx proxy minio 默认页配置（二)
摘要：前边有写过一个配置死的默认default 页面处理，以下是一个相对通用的nginx 集成minio 的默认页面配置 基本原理 核心原理还是url rewrite， 只是这次全部都放到了default 的location，同时使用了两次url rewrite 一次是添加/ 一次是进行s3 bukcet
阅读全文
posted @ 2020-12-06 21:23
nginx proxy minio 默认页配置
摘要：原理很简单，就是基于nginx 的rewrite 自动处理模版bucket 的index page 处理 参考配置 环境准备 version: "3" services: nginx: image: openresty/openresty:alpine-fat ports: - "80:80" vo
阅读全文
posted @ 2020-12-06 19:41
扩展gobackup支持minio以及定时配置
摘要：huacnlee/gobackup 是一个很不错的多数据库的备份工具，但是对于minio支持不太好（path 路径格式），同时也 不支持定时任务备份，所以基于cron 包支持定时任务处理 修改的代码 main.go 添加cron支持 { Name: "start", Flags: []cli.Fla
阅读全文
posted @ 2020-11-27 23:20
nginx cache + imageproxy+minio 支持多级cache的图片缩放处理服务
摘要：以前有写过简单的基于imageproxy以及minio 的图片缩放服务，以下是一个集成nginx cache 增强imageproxy 的多级cache 能力 参考图 简单说明： iamgeproxy可以提供基于s3（minio）、内存、本地磁盘的cache 能力，同时我们的访问入口基于nginx，
阅读全文
posted @ 2020-11-03 20:21
monio系统性能分析相关命令
摘要：minio 的mc 是一个很不错的工具，提供了比较全的关于minio 的操作，比如系统的profile profile命令 可以生成profile 相关的（cpu,mem.block...） mc admin profile start --type cpu,mem,block <mc配置的endp
阅读全文
posted @ 2020-10-28 14:40
