openmetadata pipelineservice client 处理机制
pipelineservice client 实现了pipeline的创建以及调度处理
机制
- 通用schema 生成通用实体
- 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理
- 实现具体的client 比如airflow
- IngestionPipelineRepository 会使用client 进行实际上的创建,IngestionPipelineResource 提供rest api
接口定义
说明
目前openmetadata pipelineservice 主要还是集成其他外部的pipeline 调度服务,没有开发自己的,核心是进行包装,预计后边会支持更多的pipeline 服务