随笔分类 -  云存储

上一页 1 2 3 4 下一页

sftpgo 多功能高度可配置的sftp server
摘要：sftpgo 是一个很不错的多功能特性的sftp server 同时支持s3，webdav，gcs，本地文件系统 是一个很不错的mock server，同时也提供了强大的用户管理以及权限配置，同时源码也是很 值得学习的，有空了可以试用了 参考资料 https://github.com/drakkan 阅读全文

posted @ 2020-10-23 19:37 荣锋亮 阅读(1762) 评论(0) 推荐(0) 编辑

minio select api 试用
摘要：对于minio 我们可以使用基于sql 的对象内容查询，特别适合进行特定文件内容的获取，强大方便。 以下是一个简单的试用 环境准备 集成了prometheus docker-compose 文件 version: "3" services: minio: image: minio/minio por 阅读全文

posted @ 2019-12-10 17:17 荣锋亮 阅读(2176) 评论(0) 推荐(0) 编辑

使用s3fs-fuse 挂载minio s3 对象存储
摘要：minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi 阅读全文

posted @ 2019-04-29 14:14 荣锋亮 阅读(10117) 评论(2) 推荐(2) 编辑

Stateful Kubernetes Applications Made Easier: PSO and FlashBlade
摘要：转自：https://medium.com/@joshua_robinson/stateful-kubernetes-applications-made-easier-pso-and-flashblade-aa3e2ebb0248 For stateful applications on Kuber 阅读全文

posted @ 2019-03-19 10:41 荣锋亮 阅读(384) 评论(0) 推荐(0) 编辑

mino 路径格式的bucket 数据访问
摘要：实际上这个功能很简单，如果官方不支持，我们可以通过基于nginx 的url rewrite 也可以实现 格式说明 如果配置了domain minio 会将 http://mydomain.com/bucket/object 的格式请求，转换为 (.+).mydomain.com 格式的，还是很方便的 阅读全文

posted @ 2019-01-20 09:40 荣锋亮 阅读(2053) 评论(0) 推荐(0) 编辑

minio 对于压缩的处理
摘要：我们可以简单的配置就可以让minio 支持数据压缩了，这个对于减少带宽的请求，以及web 端的优化很有意义 配置说明 配置文件 "compress": { "enabled": true, "extensions": [".txt",".log",".csv", ".json"], "mime-ty 阅读全文

posted @ 2019-01-20 09:38 荣锋亮 阅读(6094) 评论(2) 推荐(0) 编辑

使用ipns 解决ipfs 内容更新的问题
摘要：ipds 可以使用dnslink 解决域名访问的问题，但是内容变更我们就会有新的hashid 解决方法我们可以使用ipns ，同时解决dnslink 解决域名的问题 环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go- 阅读全文

posted @ 2018-12-26 12:37 荣锋亮 阅读(2148) 评论(0) 推荐(0) 编辑

ipfs cluster 模式部署使用（docker-compose 环境运行)
摘要：ipfs 点对点的分布式文件系统，官方提供了集群模式运行的docker 镜像，以及docker-compose 文件 所以测试下 环境准备 docker-compose version: '3.4' # This is an example docker-compose file for IPFS 阅读全文

posted @ 2018-12-25 10:40 荣锋亮 阅读(2221) 评论(0) 推荐(0) 编辑

ipfs docker 运行试用
摘要：ipfs 是一个分布式，p2p 的文件系统，参考了git、bt、sfs 以及web 的设计 环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go-ipfs:latest hostname: ipfs_host1 volu 阅读全文

posted @ 2018-12-16 22:17 荣锋亮 阅读(1115) 评论(0) 推荐(0) 编辑

使用 Prometheus 监控minio 性能指标信息&&docker-compose 方式运行
摘要：minio server 已经支持Prometheus 了，对于系统的运行参数我们可以方便、实时的查看 运行使用docker-compose docker-compose 文件 version: "3" services: g: image: grafana/grafana ports: - "30 阅读全文

posted @ 2018-11-28 09:40 荣锋亮 阅读(3343) 评论(0) 推荐(0) 编辑

Monitor Minio server with Prometheus
摘要：转自：https://blog.minio.io/monitor-minio-server-with-prometheus-4ed537abcb74 Prometheus is an open source monitoring platform that help you analyze and 阅读全文

posted @ 2018-11-28 09:28 荣锋亮 阅读(726) 评论(0) 推荐(0) 编辑

Stream processing with Apache Flink and Minio
摘要：转自：https://blog.minio.io/stream-processing-with-apache-flink-and-minio-10da85590787 Modern technology trends like Machine Learning, Deep Learning, Art 阅读全文

posted @ 2018-11-28 08:36 荣锋亮 阅读(1270) 评论(0) 推荐(0) 编辑

Modern Data Lake with Minio : Part 2
摘要：转自： https://blog.minio.io/modern-data-lake-with-minio-part-2-f24fb5f82424 In the first part of this series, we saw why object storage systems like Min 阅读全文

posted @ 2018-11-26 14:42 荣锋亮 阅读(579) 评论(0) 推荐(0) 编辑

Modern Data Lake with Minio : Part 1
摘要：转自：https://blog.minio.io/modern-data-lake-with-minio-part-1-716a49499533 Modern data lakes are now built on cloud storage, helping organizations lever 阅读全文

posted @ 2018-11-26 14:40 荣锋亮 阅读(497) 评论(0) 推荐(0) 编辑

drill 集成开源s3 存储minio
摘要：drill 支持s3数据的查询，同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html，minio 安装也可以使用docker minio bucket 阅读全文

posted @ 2018-10-25 08:54 荣锋亮 阅读(495) 评论(0) 推荐(0) 编辑

streamsets 集成 minio s3测试
摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate 阅读全文

posted @ 2018-08-23 16:49 荣锋亮 阅读(688) 评论(0) 推荐(0) 编辑

Minio Bucket 通知试用&&说明
摘要：kafka 安装 docker run -p 2181:2181 -p 9092:9092 \ --name kafka --rm \ --env ADVERTISED_HOST=HOSTIP \ --env ADVERTISED_PORT=9092 \ spotify/kafka minio (m 阅读全文

posted @ 2018-07-02 09:44 荣锋亮 阅读(3920) 评论(0) 推荐(0) 编辑

minio 集群搭建
摘要：具体实际的取舍可以参考官方文档，我使用的是4 node 4 driver 模式 环境机器说明 192.168.31.2 192.168.31.3 192.168.31.4 192.168.31.5 每台机器单独挂在4块盘 data1 data2 data3 data4 minio 安装包参考gith 阅读全文

posted @ 2018-06-19 10:05 荣锋亮 阅读(12971) 评论(0) 推荐(0) 编辑

nexus && minio s3 存储私有镜像
摘要：对于新版本的nexus 已经支持s3 存储了（3.12），但是企业内部可能还是需要使用私有部署的 还好我们有minio，具体的介绍就不说了 minio 项目运行 参考项目： https://github.com/rongfengliang/mino-thumbor-openresty 尽管里面的功能 阅读全文

posted @ 2018-05-26 22:02 荣锋亮 阅读(2226) 评论(0) 推荐(0) 编辑

ffmpeg hls 点播负载均衡简单实现
摘要：备注： 主要是进行文件的切片处理，以及m3u8 的文件前缀添加以达到通过nginx 或者类似的分布式文件工具进行数据切片处理 参考配置如下： ffmpeg -y -i mydemo.mp4 -vcodec copy -acodec copy -vbsf h264_mp4toannexb appdem 阅读全文

posted @ 2018-05-09 16:20 荣锋亮 阅读(1646) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示