streamsets 数据流设计
streamsets 支持branch(分支)&& merge(合并)模式的数据流
branch 数据流
如下图:
我们可以根据数据包含的字段进行拆分,不同的数据流处理自己关注的数据
merge 合并数据流
如下图:
可以将多个数据流,发送到同一个stage(阶段),但是不是进行数据的合并,数据的处理需要其他的组件(stage)处理,注意,pipeline
的校验,不进行重复数据的处理,这个需要自己进行处理逻辑的配置,同时event stream 是无法进行合并的,具体可以参考
Dataflow Triggers Overview