minio+avc+rclone 集成试用
avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用
环境准备
- 安装avc+rclone 工具
可以通过官方下载使用 - docker-compose
version: '3'
services:
minio:
image: minio/minio
ports:
- 9000:9000
- 19001:19001
volumes:
- ./data:/data/
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
command: server --console-address :19001 --quiet /data
备注： 启动之后创建一个dalong 的bucket 方便数据存储
配置rlcone
s3 环境准备好了之后就是进行rclone 的配置，通过配置一个minio s3 的就可以了
参考上边的配置
~/.config/rclone/rclone.conf 可以直接拷贝复制
[myremote]
type = s3
provider = Minio
access_key_id = minio
secret_access_key = minio123
endpoint = http://127.0.0.1:9000
avc 集成使用
在rclone 配置好了之后就可以使用avc 工具进行初始化以及数据文件上传以及管理了
- init
avc init rclone://myremote/dalong/first
效果
- 添加文件以及push
echo "dalong" > demoapp
avc push
- s3 效果
说明
avc 在能力上部分git 的命令支持并不是很多，但是从简单上来说还是很方便的不需要外部依赖，lakefs 是一个不错的基于git 的数据管理能力，而且社区也比较活跃
目前avc 似乎更偏向于fix 了，新功能比较少了，avc 代码量并不大，后边从源码学习下
参考资料
https://github.com/InfuseAI/ArtiVC
https://artivc.io/
https://artivc.io/backends/rclone/
https://rclone.org/
https://lakefs.io/
https://github.com/rongfengliang/minio_rclone_artivc_learning
