Singer 学习五 docker 运行说明

介绍过一个工具knots ,方便Singer 可视化开发的工具,但是默认这个工具包含的tap 以及target 比较少(可以自己扩展)
同时这个工具就是基于docker 运行的

docker 运行的几点说明

  • 使用交互模式
  • 开发环境建议使用数据卷挂载的模式
  • 生产环境我们可以直接按照tag 进行打包

docker 运行模式的参考脚本

从knots 的makefile 文件摘取,实际上可以自己写,很简单

  • 脚本文件
docker run -v "$(CURDIR)/tap:/app/tap/data" --interactive $(TAP_IMAGE) $(TAP) -c tap/data/config.json --catalog tap/data/catalog.json | docker run -v "$(CURDIR)/target:/app/target/data" --interactive $(TARGET_IMAGE) $(TARGET) -c target/data/config.json > tap/state.json
  • 说明
TAP_IMAGE 为包含了安装好pip 包的基础镜像
TAP 为tag 的名称,使用的是TAP_IMAGE 中的命令行工具
TARGET_IMAGE  为包含了按照好了pip 包的基础镜像
TARGET 为target 的名称,使用的是TARGET_IMAGE中的命令行工具
-v  指定了对应tap 以及target 的配置参数,或者通过发现,设置了同步策略的schema信息
实际上为了减少磁盘空间,我们可以加上--rm 参数
 

参考资料

https://github.com/singer-io/knots

posted on 2019-01-09 13:19  荣锋亮  阅读(526)  评论(0编辑  收藏  举报

导航