2022年10月9日

openmetadata pipelineservice client 处理机制

摘要： pipelineservice client 实现了pipeline的创建以及调度处理 机制 通用schema 生成通用实体 包装抽象通用pipelineclient 基于通用实体进行pipeline 处理 实现具体的client 比如airflow IngestionPipelineReposit 阅读全文

posted @ 2022-10-09 19:28 荣锋亮 阅读(78) 评论(0) 推荐(0) 编辑

openmetadata 元数据处理标准

摘要： openmetadata 对于元数据的处理也是基于了schema 主要是workflow 这个定义，包含了不同的定义，基于自己定义的workflow 进行执行 数据的获取、处理以及写入 参考workflow 定义 （支持基于json 以及yaml格式的） 包含了source，sink，process 阅读全文

posted @ 2022-10-09 19:26 荣锋亮 阅读(363) 评论(0) 推荐(0) 编辑

导航