mage-ai 简单试用体验

主要测试下集成minio s3，同时体验下mage-ai

环境准备

• docker-compose 文件

version: '3'

services:

  minio:

    image: minio/minio

    ports:

      - "9003:9000"

      - "19002:19001"

    environment:

      MINIO_ACCESS_KEY: minio

      MINIO_SECRET_KEY: minio123

    command: server --console-address :19001 --quiet /data

  mageai:

    image: mageai/mageai

    command: /app/run_app.sh mage start demo_project

    ports:

      - "6789:6789"

    volumes:

      - ./src:/home/src

• 创建s3 数据

使用了parquest 数据

 

mageai minio s3 数据配置

• minio s3 参考配置

 

 

• 数据存储效果

对于pipeline 会存储为不同的文件夹

说明

从体验我们可以看出mage-ai 实际上是集成了jupyter，从代码以来的三方包上也可以看出来，同时也支持基于dbt 的开发，实际上可以说
mage-ai 就是在jupyter 上开发了不少插件扩展的一些平台，可以让我们进行可视化数据pipeline 处理

参考资料

https://github.com/mage-ai/mage-ai
https://github.com/mage-ai/mage-ai/blob/master/mage_integrations/mage_integrations/sources/amazon_s3/README.md