sftpgo 多功能高度可配置的sftp server
摘要：sftpgo 是一个很不错的多功能特性的sftp server 同时支持s3，webdav，gcs，本地文件系统 是一个很不错的mock server，同时也提供了强大的用户管理以及权限配置，同时源码也是很 值得学习的，有空了可以试用了 参考资料 https://github.com/drakkan
阅读全文
posted @ 2020-10-23 19:37
随笔分类 - s3
jenkins+ rclone定时同步sftp数据到s3
摘要：一个简单任务场景，业务对账，同时需要备份请求的对账文件（sftp服务），所以使用了一个强大的支持 多种存储的工具rclone，然后定时自动同步到s3存储中，对于定时任务，使用jenkins（基于定时任务cron） 使用jenkins的好处是灵活可以随意配置，同时我们系统已经有了好多构建节点，具有冗余
阅读全文
posted @ 2020-10-23 13:29
flamescope+s3-fuse 扩展动态分析能力
摘要：flamescope 是一个比较强大的火焰图查看工具，但是默认是基于本地文件系统的，但是很多时候我们为了方便查看信息需要使用共享文件系统 nfs 是一个不错的选择，但是不方便分发，s3 很不错，灵活而且我们可以灵活的进行perf 文件的分发，以下代码是集成 flamescope+s3-fuseDoc
阅读全文
posted @ 2020-07-21 17:42
minio 关闭默认browser
摘要：minio 自带了一个browser，但是在实际生产使用中就很不好了，应该关掉 相关参数 环境变量 MINIO_BROWSER=off 即可 如果还需要使用browser的解决方法 我们可以基于minio提供的gatway 模式，以下是一个参考实践 基于docker-compose 部署，实际结合自
阅读全文
posted @ 2020-04-07 18:52
s3-fuse docker运行试用
摘要：s3-fuse 是一个很不错的基于fuse 暴露s3 数据为标准文件系统数据的扩展，以前有基于rpm包运行的demo 以下是基于docker-compose运行demo 一个参考案例 环境准备 docker-compose文件 version: "3" services: minio: image:
阅读全文
posted @ 2020-04-07 18:43
minio lifecycle 配置
摘要：尽管minio没有提供基于可视化界面的lifecycle 配置，但是也是支持对于bucket 对象策略的添加的 环境准备 安装minio集群 注意此配置稍有复杂，但是是一个不错的学习环境，细节参考 https://www.cnblogs.com/rongfengliang/p/12639449.ht
阅读全文
posted @ 2020-04-07 09:55
restic 快速安全可靠的数据备份工具
摘要：restic 是基于golang 编写的快速，安全，可靠的数据备份工具,使用简单，同时支持多种后端存储 支持的后端存储 本地 sftp （通过ssh） http rest server （rest-server restic提供的 ） s3 （同时支持minio） openstack swift b
阅读全文
posted @ 2020-04-05 23:04
minio gateway 代理s3 存储
摘要：以前有写过使用minio gataway 代理nas 的，实际上还可以代理s3 ，hdfs。。。。，以下是一个gatway 带来nas 以及s3 集成的模式 环境准备 docker-compose文件 version: "3" services: gateway: image: minio/mini
阅读全文
posted @ 2020-02-27 16:38
使用 postgres s3 fdw + cube.js 分析 csv 数据
摘要：昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的，今天简单试用下 环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: -
阅读全文
posted @ 2020-02-26 11:37
cube.js 集成s3 的一种方法
摘要：同集成es 的问题一样，使用postgres s3 fdw 将s3的数据暴露为sql 可操作的数据，后边就是对于pg 的数据分析了 参考资料 https://github.com/rongfengliang/pg-s3-fdw-learning https://www.cnblogs.com/ron
阅读全文
posted @ 2020-02-25 19:48
postgres s3 fdw 试用
摘要：s3 是一个很不错的文件存储系统，以下是一个简单的试用s3 fdw （使用https://github.com/smomni/s3_fdw_py）此版本兼容pg11 同时使用了python3 开发，使用multicorn （很强大） 环境准备 说明 s3_fdw 的docker 镜像以及原有的已经p
阅读全文
posted @ 2020-02-25 19:45
使用s3fs-fuse 挂载minio s3 对象存储
摘要：minio 是一个aws s3 兼容的对象存储系统，我们可以通过s3fs 进行数据桶的挂载，这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/mi
阅读全文
posted @ 2019-04-29 14:14
使用 Prometheus 监控minio 性能指标信息&&docker-compose 方式运行
摘要：minio server 已经支持Prometheus 了，对于系统的运行参数我们可以方便、实时的查看 运行使用docker-compose docker-compose 文件 version: "3" services: g: image: grafana/grafana ports: - "30
阅读全文
posted @ 2018-11-28 09:40
使用rclone 进行minio 文件同步
摘要：rclone 是一个开源的就有命令行的同步工具，主要是面向云存储的数据同步 安装 mac 系统 操作 cd && curl -O https://downloads.rclone.org/rclone-current-osx-amd64.zip cd && curl -O https://downl
阅读全文
posted @ 2018-11-26 14:25
ffmpeg hls 点播负载均衡简单实现
摘要：备注： 主要是进行文件的切片处理，以及m3u8 的文件前缀添加以达到通过nginx 或者类似的分布式文件工具进行数据切片处理 参考配置如下： ffmpeg -y -i mydemo.mp4 -vcodec copy -acodec copy -vbsf h264_mp4toannexb appdem
阅读全文
posted @ 2018-05-09 16:20
drone 学习六 发布部署&&集成私有容器仓库&&构建代码s3 保存
摘要：备注： 需要进行drone 以及gitlab 环境的配置，可以参考相关资料 1. 参考项目 https://github.com/rongfengliang/drone-appdemo 2. drone 构建配置（使用docker && s3 插件） pipeline: backend: image
阅读全文
posted @ 2018-05-03 13:21
k8s helm 私服chartmuseum minio s3 存储配置
摘要：1. 安装minio 使用docker 安装 参考项目 https://github.com/rongfengliang/mino-thumbor-openresty 备注： 因为是一个集成项目可能会有点复杂使用了docker-compsoe 以及图片缩略图 2. 配置 a. 配置s3 mkdir
阅读全文
posted @ 2018-04-17 11:41
minio nginx 配置
摘要：1. 参考配置 1. 参考配置 server { listen 80; server_name example.com; location / { proxy_set_header Host $http_host; proxy_pass http://localhost:9000; } } 2. 添
阅读全文
posted @ 2017-10-11 16:31
miniofs 配置使用
摘要：1. rpm // RPM 包下载 https://github.com/minio/minfs/releases/tag/RELEASE.2017-02-26T20-20-56Z // 安装 yum install minfs-0.0.20170226202056-1.x86_64.rpm 2.
阅读全文
posted @ 2017-10-11 16:17
VMware harbor && minio 搭建企业docker私有镜像以及需要注意的问题
摘要：1. docker harbor 配置 建议使用在线安装的模式（离线包太大了） 首先需要安装docker-compose 、docker 、mino (具体安装可以参考官网后者我的博客)同时注意配置镜像加速（阿里云 daocloud 都可以） 目前安装没有使用https 证书，实际场景最好配置htt
阅读全文
posted @ 2017-06-23 10:03
