mage-ai 简单试用体验
主要测试下集成minio s3，同时体验下mage-ai
环境准备
- docker-compose 文件
version: '3'
services:
minio:
image: minio/minio
ports:
- "9003:9000"
- "19002:19001"
environment:
MINIO_ACCESS_KEY: minio
MINIO_SECRET_KEY: minio123
command: server --console-address :19001 --quiet /data
mageai:
image: mageai/mageai
command: /app/run_app.sh mage start demo_project
ports:
- "6789:6789"
volumes:
- ./src:/home/src
- 创建s3 数据
使用了parquest 数据
mageai minio s3 数据配置
- minio s3 参考配置
- 数据存储效果
对于pipeline 会存储为不同的文件夹
说明
从体验我们可以看出mage-ai 实际上是集成了jupyter，从代码以来的三方包上也可以看出来，同时也支持基于dbt 的开发，实际上可以说
mage-ai 就是在jupyter 上开发了不少插件扩展的一些平台，可以让我们进行可视化数据pipeline 处理
参考资料
https://github.com/mage-ai/mage-ai
https://github.com/mage-ai/mage-ai/blob/master/mage_integrations/mage_integrations/sources/amazon_s3/README.md
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
2022-08-12 nginx proxy webservie 问题&实践
2021-08-12 centraldogma git 镜像配置
2019-08-12 Micro Benchmark Framework java 基准测试类库
2019-08-12 benchmarkdotnet dotnet 基准测试类库试用(一)
2014-08-12 脸部识别JavaScript类库Tracking.js