随笔分类 -  文件系统

1 2 下一页

tus java client 使用以及问题说明
摘要：代码来自官方参考，支持在使用的时候发现了一些问题记录下 参考代码 App.java package org.example; import io.tus.java.client.*; import java.io.File; import java.io.IOException; import ja 阅读全文

posted @ 2023-09-19 13:02 荣锋亮 阅读(223) 评论(0) 推荐(0) 编辑

tus-node-server 官方基于node 实现的tus server 1.0 发布
摘要：tus-node-server 是基于typescript 开发的新的nodejs server，通过拆分为独立的包（file，s3，gcs， server ） 包含的特性 完全基于typescript 开发 拆分为了独立的包 提供了新的events 以及hooks 升级了依赖包 重新设计了存储 f 阅读全文

posted @ 2023-09-19 10:59 荣锋亮 阅读(94) 评论(0) 推荐(0) 编辑

juicefs 1.0.3 集成 oceanbase 4.0 测试
摘要：以前我写过oceanbase ce 3.x 版本的，当时处理需要自己hack，目前测试的版本是juicefs 1.0.3 ，oceanbase ce 4.0 容器版 环境说明 oceanbase ce 4.0 基于docker-compose部署，juicefs 部署在linux 以及mac 机器中 阅读全文

posted @ 2023-02-16 19:42 荣锋亮 阅读(98) 评论(0) 推荐(0) 编辑

cdc-file-transfer 谷歌开源的windows 到linux 同步工具
摘要：cdc-file-transfer 是基于content defined chunking 以及fastcdc 技术，cdc-file-transfer 目前提供了两种工具cdc_rsync 类似rsync 的同步能力，进行文件拷贝，但是性能相比rsync 会有30x的提升cdc_stream 基于 阅读全文

posted @ 2023-01-10 13:18 荣锋亮 阅读(210) 评论(0) 推荐(0) 编辑

minio Error: Storage resources are insufficient for the read operation 问题参考解决
摘要：今天在重启一个minio 服务的时候发现这个异常信息，实际上此问题并不是什么大事，主要分为以下场景 初始化的时候 初始化的时候最好查看自己的配置，以及存储类型时候有问题 已经运行了 对于已经运行的实际上不会有太大问题的，因为minio的纠删码机制还是很可靠的，只要在官方要求的配置下一般是不会出现问题 阅读全文

posted @ 2022-05-06 10:43 荣锋亮 阅读(4299) 评论(0) 推荐(0) 编辑

minio 4*4 集群 故障测试
摘要：因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1129) 评论(0) 推荐(0) 编辑

lakefs 对象模型-对象存储
摘要：了解lakefs 的对象模型对于我们更好的学习lakefs 是比较重要的 lakefs 对象存储 对象存储借鉴自s3，包含一些特性 包含一些内容，无限大小以及格式 一些元数据，大小，创建时间，时间戳，内容检查值， 一些用户自定义的元数据 和其他对象存储类似，lakfe 的对象是不可变的，不能重写，可 阅读全文

posted @ 2022-02-11 19:33 荣锋亮 阅读(272) 评论(0) 推荐(0) 编辑

juicefs 内部一个定时元数据备份
摘要：juicefs 内部实际上是包含了一个自动元数据备份的能力的（json 格式 gz 了），默认是存储在对象存储中的 参考代码 代码主要在pkg/vfs/backup.go 中，同时也提供了cli 进行备份处理 参考资料 https://github.com/juicedata/juicefs/blo 阅读全文

posted @ 2022-01-12 00:17 荣锋亮 阅读(71) 评论(0) 推荐(0) 编辑

修改juicefs 源码使用oceanbase做为元数据存储
摘要：以前有说明让juicefs 支持oceanbase 的方式，但是在测试之后发现并不是很好，所以直接基于源码进行修改是一种很不错的方法 代码修改 主要是meta 中sql.go 具体需要的地方 Init 地方, 删除对于mysql的特殊处理,NewSession 部分也需要 // if m.db.Dr 阅读全文

posted @ 2022-01-08 23:12 荣锋亮 阅读(238) 评论(0) 推荐(0) 编辑

mysql 做为juicefs 的元数据存储
摘要：环境准备 docker-compose version: '3' services: db: image: mysql:5.6 environment: - MYSQL_ROOT_PASSWORD=dalongdemo - MYSQL_DATABASE=juicefs - MYSQL_USER=us 阅读全文

posted @ 2022-01-08 21:21 荣锋亮 阅读(265) 评论(0) 推荐(0) 编辑

juicefs csi 集成试用
摘要：主要是一个试用，对于k8s 使用了minikube minikube 安装 这个直接可以参考官方文档 (注意可能需要合理上网) curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64 阅读全文

posted @ 2022-01-06 00:00 荣锋亮 阅读(256) 评论(0) 推荐(0) 编辑

juicefs 多s3 bucket 使用
摘要：juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用 环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮 阅读(465) 评论(0) 推荐(0) 编辑

juicefs s3 gateway 试用
摘要：前边说明juicefs 支持对象存储进行分布式部署，我们以及minio进行了部署测试，以下是测试s3 gateway 目的 我们以及基于s3进行了存储提供，然后又使用s3 gateway 主要是更好的进行文件访问，因为s3 存储的是chunk块文件 基于s3 gateaway 我们可以更好的进行存储 阅读全文

posted @ 2021-12-28 00:09 荣锋亮 阅读(504) 评论(0) 推荐(0) 编辑

使用juicefs 让s3 更好兼容posix协议
摘要：juicefs 是一个很不错的云原生高性能共享文件系统，以下是s3的测试 环境准备 docker-compose version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY=minio" - "MINI 阅读全文

posted @ 2021-12-27 23:52 荣锋亮 阅读(492) 评论(0) 推荐(0) 编辑

juicefs 单机试用
摘要：juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析 参考架构 参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮 阅读(213) 评论(0) 推荐(0) 编辑

spf13/afero 通用文件系统试用
摘要：以前有大概介绍过类似的几个不错的通用文件系统工具包，以下是关于spf13/afero 的试用 参考代码 package main ​ import ( "io/ioutil" "log" ​ "github.com/spf13/afero" ) ​ func main() { var appFs = 阅读全文

posted @ 2021-01-05 15:52 荣锋亮 阅读(903) 评论(0) 推荐(0) 编辑

使用go-fuse开发一个fuse 文件系统
摘要：go-fuse 是fuse 的包装，我们可以用来开发fuse 文件系统，以下是一个简单的学习 项目准备 go mod go mod init demoapp 添加依赖 go get github.com/hanwen/go-fuse/v2 简单代码 main.go package main ​ im 阅读全文

posted @ 2020-11-26 23:33 荣锋亮 阅读(2714) 评论(0) 推荐(0) 编辑

awesome-fuse-fs
摘要：主要是简单说明下，一个很不错记录fuse-fs 的资料（各种语言的binding） 通过次项目我们可以学习一些fuse-fs 的开发 参考资料 https://github.com/koding/awesome-fuse-fs 阅读全文

posted @ 2020-11-26 23:13 荣锋亮 阅读(198) 评论(0) 推荐(0) 编辑

sftpgo 多功能高度可配置的sftp server
摘要：sftpgo 是一个很不错的多功能特性的sftp server 同时支持s3，webdav，gcs，本地文件系统 是一个很不错的mock server，同时也提供了强大的用户管理以及权限配置，同时源码也是很 值得学习的，有空了可以试用了 参考资料 https://github.com/drakkan 阅读全文

posted @ 2020-10-23 19:37 荣锋亮 阅读(1759) 评论(0) 推荐(0) 编辑

kubefuse 让Kubernetes 资源成为fuse 文件系统
摘要：kubefuse 是基于fuse 开发的文件系统，我们可以像访问文件系统一样访问Kubernetes 资源,使用python开发 支持以下特性： 可以使用方便的linux tools： ls、 vim 、cat 像文件系统一样查看Kubernetes 资源 像文件系统一样访问Kubernetes 资 阅读全文

posted @ 2019-05-01 17:01 荣锋亮 阅读(841) 评论(0) 推荐(0) 编辑

1 2 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示