Modern Data Lake with Minio : Part 2
摘要：转自： https://blog.minio.io/modern-data-lake-with-minio-part-2-f24fb5f82424 In the first part of this series, we saw why object storage systems like Min
阅读全文
posted @ 2018-11-26 14:42
随笔分类 - minio
Modern Data Lake with Minio : Part 1
摘要：转自：https://blog.minio.io/modern-data-lake-with-minio-part-1-716a49499533 Modern data lakes are now built on cloud storage, helping organizations lever
阅读全文
posted @ 2018-11-26 14:40
使用rclone 进行minio 文件同步
摘要：rclone 是一个开源的就有命令行的同步工具，主要是面向云存储的数据同步 安装 mac 系统 操作 cd && curl -O https://downloads.rclone.org/rclone-current-osx-amd64.zip cd && curl -O https://downl
阅读全文
posted @ 2018-11-26 14:25
drill 集成开源s3 存储minio
摘要：drill 支持s3数据的查询，同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html，minio 安装也可以使用docker minio bucket
阅读全文
posted @ 2018-10-25 08:54
streamsets 集成 minio s3测试
摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate
阅读全文
posted @ 2018-08-23 16:49
Minio Bucket 通知试用&&说明
摘要：kafka 安装 docker run -p 2181:2181 -p 9092:9092 \ --name kafka --rm \ --env ADVERTISED_HOST=HOSTIP \ --env ADVERTISED_PORT=9092 \ spotify/kafka minio (m
阅读全文
posted @ 2018-07-02 09:44
minio 集群搭建
摘要：具体实际的取舍可以参考官方文档，我使用的是4 node 4 driver 模式 环境机器说明 192.168.31.2 192.168.31.3 192.168.31.4 192.168.31.5 每台机器单独挂在4块盘 data1 data2 data3 data4 minio 安装包参考gith
阅读全文
posted @ 2018-06-19 10:05
nexus && minio s3 存储私有镜像
摘要：对于新版本的nexus 已经支持s3 存储了（3.12），但是企业内部可能还是需要使用私有部署的 还好我们有minio，具体的介绍就不说了 minio 项目运行 参考项目： https://github.com/rongfengliang/mino-thumbor-openresty 尽管里面的功能
阅读全文
posted @ 2018-05-26 22:02
ffmpeg hls 点播负载均衡简单实现
摘要：备注： 主要是进行文件的切片处理，以及m3u8 的文件前缀添加以达到通过nginx 或者类似的分布式文件工具进行数据切片处理 参考配置如下： ffmpeg -y -i mydemo.mp4 -vcodec copy -acodec copy -vbsf h264_mp4toannexb appdem
阅读全文
posted @ 2018-05-09 16:20
drone 学习六 发布部署&&集成私有容器仓库&&构建代码s3 保存
摘要：备注： 需要进行drone 以及gitlab 环境的配置，可以参考相关资料 1. 参考项目 https://github.com/rongfengliang/drone-appdemo 2. drone 构建配置（使用docker && s3 插件） pipeline: backend: image
阅读全文
posted @ 2018-05-03 13:21
k8s helm 私服chartmuseum minio s3 存储配置
摘要：1. 安装minio 使用docker 安装 参考项目 https://github.com/rongfengliang/mino-thumbor-openresty 备注： 因为是一个集成项目可能会有点复杂使用了docker-compsoe 以及图片缩略图 2. 配置 a. 配置s3 mkdir
阅读全文
posted @ 2018-04-17 11:41
使用openresty && minio && thumbor 构建稳定高效的图片服务器
摘要：备注： minio 是一个开源的s3 协议兼容的分布式存储，openresty nginx+lua 高性能可扩展的nginx 衍生版，thumbor 基于python 的图片处理服务器，支持图片的裁剪，识别。。。。 代码为使用docker 构建的一个一体化的参考代码，实际使用中，大家可以基于自己的业
阅读全文
posted @ 2018-03-26 14:41
minio nginx 配置
摘要：1. 参考配置 1. 参考配置 server { listen 80; server_name example.com; location / { proxy_set_header Host $http_host; proxy_pass http://localhost:9000; } } 2. 添
阅读全文
posted @ 2017-10-11 16:31
miniofs 配置使用
摘要：1. rpm // RPM 包下载 https://github.com/minio/minfs/releases/tag/RELEASE.2017-02-26T20-20-56Z // 安装 yum install minfs-0.0.20170226202056-1.x86_64.rpm 2.
阅读全文
posted @ 2017-10-11 16:17
VMware harbor && minio 搭建企业docker私有镜像以及需要注意的问题
摘要：1. docker harbor 配置 建议使用在线安装的模式（离线包太大了） 首先需要安装docker-compose 、docker 、mino (具体安装可以参考官网后者我的博客)同时注意配置镜像加速（阿里云 daocloud 都可以） 目前安装没有使用https 证书，实际场景最好配置htt
阅读全文
posted @ 2017-06-23 10:03
minio 介绍
摘要：minio 兼容Amason的S3分布式对象存储项目，采用Golang实现，客户端支持Java,Python,Javacript, Golang语言。 Minio可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作 在Windows,Linux, OS X
阅读全文
posted @ 2017-06-22 20:11
minio 安装以及使用
摘要：1. 为了方便使用 docker 安装 docker run -p 9000:9000 minio/minio server /export 注意启动显示的 appkey secretkey Created minio configuration file successfully at /root
阅读全文
posted @ 2017-06-22 19:49
