minio+avc+rclone 集成试用

avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用

环境准备

• 安装avc+rclone 工具
  可以通过官方下载使用
• docker-compose

 

version: '3'

services:

  minio:

    image: minio/minio

    ports:

      - 9000:9000

      - 19001:19001

    volumes:

      - ./data:/data/

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

    command: server --console-address :19001 --quiet /data

备注： 启动之后创建一个dalong 的bucket 方便数据存储

配置rlcone

s3 环境准备好了之后就是进行rclone 的配置，通过配置一个minio s3 的就可以了
参考上边的配置
~/.config/rclone/rclone.conf 可以直接拷贝复制

 

[myremote]

type = s3

provider = Minio

access_key_id = minio

secret_access_key = minio123

endpoint = http://127.0.0.1:9000

avc 集成使用

在rclone 配置好了之后就可以使用avc 工具进行初始化以及数据文件上传以及管理了

• init

avc init rclone://myremote/dalong/first

效果

 

 

• 添加文件以及push

echo "dalong"  > demoapp 

avc push 

 

 

• s3 效果

 

 

说明

avc 在能力上部分git 的命令支持并不是很多，但是从简单上来说还是很方便的不需要外部依赖，lakefs 是一个不错的基于git 的数据管理能力，而且社区也比较活跃
目前avc 似乎更偏向于fix 了，新功能比较少了，avc 代码量并不大，后边从源码学习下

参考资料

https://github.com/InfuseAI/ArtiVC
https://artivc.io/
https://artivc.io/backends/rclone/
https://rclone.org/
https://lakefs.io/
https://github.com/rongfengliang/minio_rclone_artivc_learning