随笔分类 -  云存储

上一页 1 2 3 4 下一页

cdc-file-transfer 谷歌开源的windows 到linux 同步工具
摘要：cdc-file-transfer 是基于content defined chunking 以及fastcdc 技术，cdc-file-transfer 目前提供了两种工具cdc_rsync 类似rsync 的同步能力，进行文件拷贝，但是性能相比rsync 会有30x的提升cdc_stream 基于 阅读全文

posted @ 2023-01-10 13:18 荣锋亮 阅读(212) 评论(0) 推荐(0) 编辑

使用nginx limit_except 保护暴露外网的minio 服务
摘要：minio 做为比较热门的开源s3 服务，受到好多团队的青睐，使用率还是比较高的，如果我们的服务是部署在内网的还好 一般不用太担忧安全问题（但是也得做好内网的安全防护），但是如果直接将s3 服务暴露到公网问题就比较多了，解决 方法很多，比如使用waf，自己配置一些安全策略，以下是基于nginx li 阅读全文

posted @ 2022-10-26 21:42 荣锋亮 阅读(1304) 评论(0) 推荐(0) 编辑

minio 对象存储部署一些说明
摘要：一个minio 简单部署使用说明，以前写过一些简单的，主要扩展下，对于优化相关的具体可以参考官方的以及linux 相关优化的文章 参考部署 可靠性玩法 可以开启多版本 开启复制（可以是跨站点，跨minio 集群，以及bucket） 禁用console （MINIO_BROWSER=off），如果需要 阅读全文

posted @ 2022-10-26 20:34 荣锋亮 阅读(546) 评论(0) 推荐(0) 编辑

nodejs 通过s3fs 处理文件
摘要：s3fs 是一个不错的nodejs fs s3 接口实现，我们基于此可以访问s3 文件，可以方便的简化文件存储 参考代码 const s3Fs = require("@hasnat/s3fs") const fs = require("fs") const { pipeline } = requir 阅读全文

posted @ 2022-06-03 22:27 荣锋亮 阅读(106) 评论(0) 推荐(0) 编辑

localstack 试用
摘要：以前大概介绍过localstack，以下是关于localstack的试用## 环境准备 python3 以及docker,localstack 基于python 开发，使用docker 运行，镜像不小，推荐先下载 docker pull localstack/localstack:latest 安装 阅读全文

posted @ 2022-05-07 21:48 荣锋亮 阅读(685) 评论(0) 推荐(0) 编辑

minio Error: Storage resources are insufficient for the read operation 问题参考解决
摘要：今天在重启一个minio 服务的时候发现这个异常信息，实际上此问题并不是什么大事，主要分为以下场景 初始化的时候 初始化的时候最好查看自己的配置，以及存储类型时候有问题 已经运行了 对于已经运行的实际上不会有太大问题的，因为minio的纠删码机制还是很可靠的，只要在官方要求的配置下一般是不会出现问题 阅读全文

posted @ 2022-05-06 10:43 荣锋亮 阅读(4314) 评论(0) 推荐(0) 编辑

minio 来自官方的一些学习资料-gateway 即将废弃
摘要：具体的可以参考链接，但是官方gateway 即将移除核心代码库是一个比较重要的事情 参考资料 https://resources.min.io/april-2022-newsletter/the-architects-guide-software-defined-object-storagehttp 阅读全文

posted @ 2022-04-28 22:30 荣锋亮 阅读(409) 评论(0) 推荐(0) 编辑

minio 4*4 集群 故障测试
摘要：因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1131) 评论(0) 推荐(0) 编辑

juicefs 内部一个定时元数据备份
摘要：juicefs 内部实际上是包含了一个自动元数据备份的能力的（json 格式 gz 了），默认是存储在对象存储中的 参考代码 代码主要在pkg/vfs/backup.go 中，同时也提供了cli 进行备份处理 参考资料 https://github.com/juicedata/juicefs/blo 阅读全文

posted @ 2022-01-12 00:17 荣锋亮 阅读(72) 评论(0) 推荐(0) 编辑

修改juicefs 源码使用oceanbase做为元数据存储
摘要：以前有说明让juicefs 支持oceanbase 的方式，但是在测试之后发现并不是很好，所以直接基于源码进行修改是一种很不错的方法 代码修改 主要是meta 中sql.go 具体需要的地方 Init 地方, 删除对于mysql的特殊处理,NewSession 部分也需要 // if m.db.Dr 阅读全文

posted @ 2022-01-08 23:12 荣锋亮 阅读(239) 评论(0) 推荐(0) 编辑

mysql 做为juicefs 的元数据存储
摘要：环境准备 docker-compose version: '3' services: db: image: mysql:5.6 environment: - MYSQL_ROOT_PASSWORD=dalongdemo - MYSQL_DATABASE=juicefs - MYSQL_USER=us 阅读全文

posted @ 2022-01-08 21:21 荣锋亮 阅读(269) 评论(0) 推荐(0) 编辑

juicefs csi 集成试用
摘要：主要是一个试用，对于k8s 使用了minikube minikube 安装 这个直接可以参考官方文档 (注意可能需要合理上网) curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 阅读全文

posted @ 2022-01-06 00:00 荣锋亮 阅读(258) 评论(0) 推荐(0) 编辑

ozone 为 apache hadoop 提供扩展分布式对象存储的服务
摘要：主要是为hadoop 以及cloud native 环境一共可扩展，冗余的分布式对象存储 支持的特性 多协议（hadoop fs 以及s3） 可扩展，可以支持10亿级对象存储 强一致系统 cloud native 安全（支持kereros 集成） 高可用 核心组件 说明 ozone 做为s3 以及强 阅读全文

posted @ 2022-01-02 23:45 荣锋亮 阅读(243) 评论(0) 推荐(0) 编辑

juicefs 多s3 bucket 使用
摘要：juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用 环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮 阅读(468) 评论(0) 推荐(0) 编辑

juicefs 单机试用
摘要：juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析 参考架构 参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮 阅读(215) 评论(0) 推荐(0) 编辑

minio 集成webhook 事件通知
摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理 环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮 阅读(2251) 评论(0) 推荐(0) 编辑

excel 到dremio 查询处理
摘要：参考解决方案 原理说明 用户通过rest api 请求上传excel 文件，可以存储到s3中，然后我们可以通过监听s3的webhooks 或者上传的时候进行格式转换同时存储s3 格式可以支持的包含jsonlines，parquet。。。同时基于dremio直接查询s3的能力，方便的进行业务分析 环境 阅读全文

posted @ 2021-09-01 21:41 荣锋亮 阅读(145) 评论(0) 推荐(0) 编辑

golang 几个面向应用的通用存储层处理包
摘要：以下是整理的一个golang 不错的通用存储层包装，都是不错的选择 说明 gregjones/httpcache也是一个类似的通用cache 应用层包装，我们基于接口可以实现不通的cache支持，同时基于通用的存储处理我们 可以简化应用的开发，数据库驱动也是类似的模式 参考资料 https://gi 阅读全文

posted @ 2020-12-16 23:12 荣锋亮 阅读(168) 评论(0) 推荐(0) 编辑

使用go-fuse开发一个fuse 文件系统
摘要：go-fuse 是fuse 的包装，我们可以用来开发fuse 文件系统，以下是一个简单的学习 项目准备 go mod go mod init demoapp 添加依赖 go get github.com/hanwen/go-fuse/v2 简单代码 main.go package main ​ im 阅读全文

posted @ 2020-11-26 23:33 荣锋亮 阅读(2718) 评论(0) 推荐(0) 编辑

awesome-fuse-fs
摘要：主要是简单说明下，一个很不错记录fuse-fs 的资料（各种语言的binding） 通过次项目我们可以学习一些fuse-fs 的开发 参考资料 https://github.com/koding/awesome-fuse-fs 阅读全文

posted @ 2020-11-26 23:13 荣锋亮 阅读(199) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示