lyft amundsen简单试用
昨天有说过amundsen 官方为我们提供了dockerc-compose 运行的参考配置,以下是一个来自官方的 quick start
clone amundsen 代码
amundsen 使用了git 子模块,同时我们运行demo,需要的项目也在里边
git clone --recurse-submodules https://github.com/lyft/amundsen.git
启动docker-compose 环境
使用neo4j 存储metedata
cd amundsen && docker-compose -f docker-amundsen.yml up -d
效果
导入数据模型到neo4j
amundsendatabuilder 项目,项目上边已经clone 了,可以直接使用,项目使用venv 进行python 环境管理
- python 环境准备
cd amundsendatabuilder
python3 -m venv venv
source venv/bin/activate
pip3 install -r requirements.txt
python3 setup.py install
- 导入数据模型
python3 example/scripts/sample_data_loader.py
查询效果
- 查询test
schema 信息
模型完善操作
说明
当前amundsen 功能可能还是相对单一,但是整体是一个不错的数据发现解决方案
一个参考架构
参考资料
https://github.com/lyft/amundsen/blob/master/docs/installation.md