openmetadata pipelineservice client 处理机制

pipelineservice client 实现了pipeline的创建以及调度处理

机制

  • 通用schema 生成通用实体
  • 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理
  • 实现具体的client 比如airflow
  • IngestionPipelineRepository 会使用client 进行实际上的创建，IngestionPipelineResource 提供rest api

接口定义

 

 

说明

目前openmetadata pipelineservice 主要还是集成其他外部的pipeline 调度服务，没有开发自己的，核心是进行包装，预计后边会支持更多的pipeline 服务

参考资料

https://github.com/open-metadata/OpenMetadata/blob/fdf216aaddff912647f9d84fd70d034f17d9a144/openmetadata-service/src/main/java/org/openmetadata/service/util/PipelineServiceClient.java

posted on   荣锋亮  阅读(95)  评论(0)  编辑  收藏  举报

相关博文：
· openmetadata 系统技术栈学习
· openmetadata 元数据处理标准
· 深入探索云原生流水线的架构设计
· pipeline详解
· HuggingFace | 基础组件之Pipeline
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2021-10-09 cloud-git 扩展s3 存储支持说明
2020-10-09 airline开发类似git cli 的jar 包
2020-10-09 开发自己的jdbc驱动——基本说明
2019-10-09 rushjs来自微软的单体仓库管理工具
2018-10-09 12 Factor CLI Apps
2018-10-09 oclif cli app开发简单试用
2017-10-09 openfaas k8s 集成

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示