mage-ai 简单试用体验
主要测试下集成minio s3,同时体验下mage-ai
环境准备
- docker-compose 文件
version: '3'
services:
minio:
image: minio/minio
ports:
- "9003:9000"
- "19002:19001"
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
command: server --console-address :19001 --quiet /data
mageai:
image: mageai/mageai
command: /app/run_app.sh mage start demo_project
ports:
- "6789:6789"
volumes:
- ./src:/home/src
- 创建s3 数据
使用了parquest 数据
mageai minio s3 数据配置
- minio s3 参考配置
- 数据存储效果
对于pipeline 会存储为不同的文件夹
说明
从体验我们可以看出mage-ai 实际上是集成了jupyter,从代码以来的三方包上也可以看出来,同时也支持基于dbt 的开发,实际上可以说
mage-ai 就是在jupyter 上开发了不少插件扩展的一些平台,可以让我们进行可视化数据pipeline 处理
参考资料
https://github.com/mage-ai/mage-ai
https://github.com/mage-ai/mage-ai/blob/master/mage_integrations/mage_integrations/sources/amazon_s3/README.md