arroyo 基于rust开发的流处理引擎

arroyo 基于rust开发的流处理引擎

包含的特性

• sql 以及rust pipelines
• 可以直接每秒百万级别的事件
• 支持windows 以及joins 的状态处理
• 基于状态checkpointing 的支持容错以及恢复的pipelines
• 通过dataflow 模型的及时流处理

使用场景

• 安全以及欺诈事件捕捉
• 实时产品分析
• 数据仓库，数据湖实时数据进入
• 实时机器学习特性生成

参考架构

 

 

状态处理

 

 

说明

arroyo 从架构上以及介绍上看着还是比较方便的，而且看着很强大， 值得学习研究

参考资料

https://github.com/ArroyoSystems/arroyo
https://doc.arroyo.dev/introduction