streamsets 数据流设计

streamsets 支持branch(分支)&& merge(合并)模式的数据流

branch 数据流

如下图:
我们可以根据数据包含的字段进行拆分,不同的数据流处理自己关注的数据

merge 合并数据流

如下图:
可以将多个数据流,发送到同一个stage(阶段),但是不是进行数据的合并,数据的处理需要其他的组件(stage)处理,注意,pipeline
的校验,不进行重复数据的处理,这个需要自己进行处理逻辑的配置,同时event stream 是无法进行合并的,具体可以参考
Dataflow Triggers Overview

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/DesigningDataFlow.html#concept_ad4_gpy_bt

posted on 2018-08-20 14:45  荣锋亮  阅读(1829)  评论(0编辑  收藏  举报

导航