随笔分类 -  minio

上一页 1 2 3 4 5 下一页

minio lifecycle 配置
摘要：尽管minio没有提供基于可视化界面的lifecycle 配置，但是也是支持对于bucket 对象策略的添加的 环境准备 安装minio集群 注意此配置稍有复杂，但是是一个不错的学习环境，细节参考 https://www.cnblogs.com/rongfengliang/p/12639449.ht 阅读全文

posted @ 2020-04-07 09:55 荣锋亮 阅读(4849) 评论(3) 推荐(0) 编辑

restic 快速安全可靠的数据备份工具
摘要：restic 是基于golang 编写的快速，安全，可靠的数据备份工具,使用简单，同时支持多种后端存储 支持的后端存储 本地 sftp （通过ssh） http rest server （rest-server restic提供的 ） s3 （同时支持minio） openstack swift b 阅读全文

posted @ 2020-04-05 23:04 荣锋亮 阅读(2974) 评论(0) 推荐(0) 编辑

使用sidekick 负载均衡minio 集群
摘要：实际上对于minio集群的lb+proxy 官方的cookbook 有解决（nginx，caddy)但是最近官方提供了一个新的基于 sidecar模式的选择-sidekick 以下是minio 集群集成sidekick 的试用 环境准备 整个环境都是基于docker运行 *docker-compos 阅读全文

posted @ 2020-04-05 22:08 荣锋亮 阅读(3000) 评论(0) 推荐(0) 编辑

sidekick简单试用
摘要：前边有简单介绍过sidekick，以下是一个简单的使用 安装 可以通过github 下载https://github.com/minio/sidekick/releases，或者自己构建 简单使用 简单说明 sidekick使用简单，就是配置地址就可以了 sidekick http://ip:888 阅读全文

posted @ 2020-04-05 18:40 荣锋亮 阅读(681) 评论(0) 推荐(0) 编辑

sidekick minio 团队开源的高性能http sidecar 负载均衡器
摘要：sidekick是minio团队开源的负载均衡器，是以sidecar 模式运行的，主要是减少中心化负载均衡器的压力，同时也添加了对于dns 故障 的管理，同时sidekick会通过http error 状态以及readiness api 自动避免发送流量到故障节点。 sidekick 使用简单，同时 阅读全文

posted @ 2020-04-05 10:30 荣锋亮 阅读(1004) 评论(0) 推荐(0) 编辑

minio gateway 代理s3 存储
摘要：以前有写过使用minio gataway 代理nas 的，实际上还可以代理s3 ，hdfs。。。。，以下是一个gatway 带来nas 以及s3 集成的模式 环境准备 docker-compose文件 version: "3" services: gateway: image: minio/mini 阅读全文

posted @ 2020-02-27 16:38 荣锋亮 阅读(3352) 评论(0) 推荐(0) 编辑

使用 postgres s3 fdw + cube.js 分析 csv 数据
摘要：昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的，今天简单试用下 环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: - 阅读全文

posted @ 2020-02-26 11:37 荣锋亮 阅读(498) 评论(0) 推荐(0) 编辑

cube.js 集成s3 的一种方法
摘要：同集成es 的问题一样，使用postgres s3 fdw 将s3的数据暴露为sql 可操作的数据，后边就是对于pg 的数据分析了 参考资料 https://github.com/rongfengliang/pg-s3-fdw-learning https://www.cnblogs.com/ron 阅读全文

posted @ 2020-02-25 19:48 荣锋亮 阅读(245) 评论(0) 推荐(0) 编辑

minio select api 试用
摘要：对于minio 我们可以使用基于sql 的对象内容查询，特别适合进行特定文件内容的获取，强大方便。 以下是一个简单的试用 环境准备 集成了prometheus docker-compose 文件 version: "3" services: minio: image: minio/minio por 阅读全文

posted @ 2019-12-10 17:17 荣锋亮 阅读(2176) 评论(0) 推荐(0) 编辑

singer tap-minio-csv 使用
摘要：使用tap-minio-csv 我们可以将s3 中csv 的文件，通过singer 的target 写到不用的系统中，可以兼容 s3 的存储类型,以下是一个集成minio 的测试，将minio 中的csv 数据导入到pg中 环境准备 docker-compose 文件 version: "3" se 阅读全文

posted @ 2019-08-22 19:31 荣锋亮 阅读(469) 评论(0) 推荐(0) 编辑

使用s3-sftp-proxy 暴露minio s3 数据为sftp 访问
摘要：尽管s3 很不错，但是ftp 也有自己存在的价值，以下是一个简单的通过s3-sftp-proxy 暴露minio s3 数据为ftp 的访问方式 环境准备 docker-compose 文件 version: "3" services: minio: image: minio/minio comma 阅读全文

posted @ 2019-08-20 09:37 荣锋亮 阅读(1515) 评论(0) 推荐(0) 编辑

minio gataway 模式快速提供s3 兼容的文件服务
摘要：实际很多场景我们已经有了遗留系统的文件存储方式（ftp，或者共享目录），但是这个方式可能不是很好，对于web 不是很友好 实际上minio 也提供了gateway 的模式，可以方便快速的将遗留系统的存储服务暴露为一个可复用，web 应用友好的存储模型 以下演示一个简单的本地文件暴露s3 的方式 环境 阅读全文

posted @ 2019-08-18 11:23 荣锋亮 阅读(2171) 评论(0) 推荐(0) 编辑

使用s3fs-fuse 挂载minio s3 对象存储
摘要：minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi 阅读全文

posted @ 2019-04-29 14:14 荣锋亮 阅读(10117) 评论(2) 推荐(2) 编辑

使用k8s && minio 进行 postgres 数据库自动备份
摘要：通过k8s 的定时任务job，我们可以方便的进行定时任务应用的开发，通过minio s3 兼容的cloud native 存储 我们可以方便的通过http 请求进行数据文件的备份，以下简单演示下如何进行集成 环境准备 docker 镜像修改自 https://github.com/Remigius2 阅读全文

posted @ 2019-03-18 18:48 荣锋亮 阅读(2796) 评论(0) 推荐(0) 编辑

mino 路径格式的bucket 数据访问
摘要：实际上这个功能很简单，如果官方不支持，我们可以通过基于nginx 的url rewrite 也可以实现 格式说明 如果配置了domain minio 会将 http://mydomain.com/bucket/object 的格式请求，转换为 (.+).mydomain.com 格式的，还是很方便的 阅读全文

posted @ 2019-01-20 09:40 荣锋亮 阅读(2053) 评论(0) 推荐(0) 编辑

minio 对于压缩的处理
摘要：我们可以简单的配置就可以让minio 支持数据压缩了，这个对于减少带宽的请求，以及web 端的优化很有意义 配置说明 配置文件 "compress": { "enabled": true, "extensions": [".txt",".log",".csv", ".json"], "mime-ty 阅读全文

posted @ 2019-01-20 09:38 荣锋亮 阅读(6094) 评论(2) 推荐(0) 编辑

mino federation 功能
摘要：mino federation 可以让我们进行 bucket的查找，实现更灵活的分布式控制 其中依赖了几个组件 coredns etcd 参考架构图 说明 官方也提供了一个简单的部署的demo，总的来说这个功能还是很方便的，我们可以用来实现一个强大，灵活的s3 分布式存储 参考资料 https:// 阅读全文

posted @ 2019-01-20 09:15 荣锋亮 阅读(854) 评论(0) 推荐(0) 编辑

使用 Prometheus 监控minio 性能指标信息&&docker-compose 方式运行
摘要：minio server 已经支持Prometheus 了，对于系统的运行参数我们可以方便、实时的查看 运行使用docker-compose docker-compose 文件 version: "3" services: g: image: grafana/grafana ports: - "30 阅读全文

posted @ 2018-11-28 09:40 荣锋亮 阅读(3343) 评论(0) 推荐(0) 编辑

Monitor Minio server with Prometheus
摘要：转自：https://blog.minio.io/monitor-minio-server-with-prometheus-4ed537abcb74 Prometheus is an open source monitoring platform that help you analyze and 阅读全文

posted @ 2018-11-28 09:28 荣锋亮 阅读(726) 评论(0) 推荐(0) 编辑

Stream processing with Apache Flink and Minio
摘要：转自：https://blog.minio.io/stream-processing-with-apache-flink-and-minio-10da85590787 Modern technology trends like Machine Learning, Deep Learning, Art 阅读全文

posted @ 2018-11-28 08:36 荣锋亮 阅读(1270) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示