随笔分类 - 分布式文件系统

juicefs 多s3 bucket 使用

摘要：juicefs 支持一个参数--shards 可以在format 的时候进行多bucket 的配置以下是一个简单的试用环境准备 minio s3 version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_K 阅读全文

posted @ 2021-12-28 13:27 荣锋亮阅读(465) 评论(0) 推荐(0) 编辑

juicefs s3 gateway 试用

摘要：前边说明juicefs 支持对象存储进行分布式部署，我们以及minio进行了部署测试，以下是测试s3 gateway 目的我们以及基于s3进行了存储提供，然后又使用s3 gateway 主要是更好的进行文件访问，因为s3 存储的是chunk块文件基于s3 gateaway 我们可以更好的进行存储阅读全文

posted @ 2021-12-28 00:09 荣锋亮阅读(504) 评论(0) 推荐(0) 编辑

使用juicefs 让s3 更好兼容posix协议

摘要：juicefs 是一个很不错的云原生高性能共享文件系统，以下是s3的测试环境准备 docker-compose version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY=minio" - "MINI 阅读全文

posted @ 2021-12-27 23:52 荣锋亮阅读(492) 评论(0) 推荐(0) 编辑

juicefs 单机试用

摘要：juicefs 让我们可以提高对象存储的一致性以及更加方便的进行数据分析参考架构参考试用 mac 系统,同时注意mac 系统需要安装osxfuse 安装 brew tap juicedata/homebrew-tap brew install juicefs 创建文件系统 juicefs for 阅读全文

posted @ 2021-12-26 23:02 荣锋亮阅读(213) 评论(0) 推荐(0) 编辑

minio 集成webhook 事件通知

摘要：以前有写过关于minio 的通知事件的，但是是基于kafka 的，而且时间已经很长了，以下是基于新版本minio 的一个demo 集成的webhook，同时开启了额console 方便管理环境准备 docker-compose文件 version: "3" services: webhook: i 阅读全文

posted @ 2021-09-01 23:21 荣锋亮阅读(2242) 评论(0) 推荐(0) 编辑

使用minio替换fastdfs 文件系统

摘要：一个实践，属于业务需求：需求 fastdfs的灵活性以及安全控制上不是很方便，而且语言调用上也不方便，所以需要无缝的迁移老的 fastdfs到一个合适的分布式文件系统（语言友好，web友好，高性能，灵活）原有架构模式参考如图，很简单，也很标准基于group同名节点之间自动数据同步，同时使用ng 阅读全文

posted @ 2020-09-21 19:47 荣锋亮阅读(4367) 评论(0) 推荐(0) 编辑

使用s3fs-fuse 挂载minio s3 对象存储

摘要：minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情环境准备使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi 阅读全文

posted @ 2019-04-29 14:14 荣锋亮阅读(10108) 评论(2) 推荐(2) 编辑

使用ipns 解决ipfs 内容更新的问题

摘要：ipds 可以使用dnslink 解决域名访问的问题，但是内容变更我们就会有新的hashid 解决方法我们可以使用ipns ，同时解决dnslink 解决域名的问题环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go- 阅读全文

posted @ 2018-12-26 12:37 荣锋亮阅读(2147) 评论(0) 推荐(0) 编辑

ipfs webui 管理界面

摘要：ipfs 内置了一个webui 默认的端口是5001 访问地址 http://ip:5001/webui 环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go-ipfs:latest hostname: ipfs_hos 阅读全文

posted @ 2018-12-26 10:04 荣锋亮阅读(3913) 评论(0) 推荐(0) 编辑

ipfs cluster 模式部署使用（docker-compose 环境运行)

摘要：ipfs 点对点的分布式文件系统，官方提供了集群模式运行的docker 镜像，以及docker-compose 文件所以测试下环境准备 docker-compose version: '3.4' # This is an example docker-compose file for IPFS 阅读全文

posted @ 2018-12-25 10:40 荣锋亮阅读(2220) 评论(0) 推荐(0) 编辑

ipfs docker 运行试用

摘要：ipfs 是一个分布式，p2p 的文件系统，参考了git、bt、sfs 以及web 的设计环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go-ipfs:latest hostname: ipfs_host1 volu 阅读全文

posted @ 2018-12-16 22:17 荣锋亮阅读(1114) 评论(0) 推荐(0) 编辑