Beam的抽象模型
不多说,直接上干货!
Apache Beam抽象模型
计算机最简单的抽象模型是输入+计算+输出。对于数据处理类的应用来说,将计算的部分展开,变成了 数据输入 + 数据集 + 数据处理 + 数据输出 = 数据处理流程。
图1 数据处理流程
在Apache Beam中对应如下:
IO Source/Sink数据输入/输出
Input和Output对应于Beam中的Source和Sink。
Source从外部数据源读入数据,例如数据库、NoSql、文件系统、消息中间件等。读取完的数据被表示为PCollection。
Sink将处理的结果PCollection输出到外部数据存储中,或者其他的应用系统。
作者:大数据和人工智能躺过的坑
出处:http://www.cnblogs.com/zlslch/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接,否则保留追究法律责任的权利。
如果您认为这篇文章还不错或者有所收获,您可以通过右边的“打赏”功能 打赏我一杯咖啡【物质支持】,也可以点击右下角的【好文要顶】按钮【精神支持】,因为这两种支持都是我继续写作,分享的最大动力!