Beam概念学习系列之Pipeline Runners

 

 

　　不多说，直接上干货！

 

 

https://beam.apache.org/get-started/beam-overview/

 

 

 

　　在 Beam 管道上运行引擎会根据你选择的分布式处理引擎，其中兼容的 API 转换你的 Beam 程序应用，让你的 Beam 应用程序可以有效的运行在指定的分布式处理引擎上。因而，当运行 Beam 程序的时候，你可以按照自己的需求选择一种分布式处理引擎。当前 Beam 支持的管道运行引擎有以下几种：

• Apache Apex
• Apache Flink
• Apache Spark
• Google Cloud Dataflow

 

 

　　即，一个 Beam 程序可以运行在多个 Beam 的可执行引擎上，包括 ApexRunner，FlinkRunner，SparkRunner 或者 DataflowRunner。 另外还有 DirectRunner。不需要特殊的配置就可以在本地执行，方便测试使用。

 

 

 

 

 

Beam编程系列之Java SDK Quickstart（官网的推荐步骤）