分布式实时计算系统

Reference

[1] https://www.jianshu.com/p/5cc07eae1a0c

批处理 Batch Processing

批处理在大数据世界有着悠久的历史。批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。

批处理模式中使用的数据集通常符合下列特征:

• 有界：批处理数据集代表数据的有限集合

• 持久：数据通常始终存储在某种类型的持久存储位置中

• 大量：批处理操作通常是处理极为海量数据集的唯一方法

批处理非常适合需要访问全套记录才能完成的计算工作。例如在计算总数和平均数时，必须将数据集作为一个整体加以处理，而不能将其视作多条记录的集合。这些操作要求在计算进行过程中数据维持自己的状态。

需要处理大量数据的任务通常最适合用批处理操作进行处理。无论直接从持久存储设备处理数据集，或首先将数据集载入内存，批处理系统在设计过程中就充分考虑了数据的量，可提供充足的处理资源。由于批处理在应对大量持久数据方面的表现极为出色，因此经常被用于对历史数据进行分析。

大量数据的处理需要付出大量时间，因此批处理不适合对处理时间要求较高的场合。

Apache Hadoop是代表性的批处理框架。

流处理 Stream Processing

流处理系统会对随时进入系统的数据进行计算。相比批处理模式，这是一种截然不同的处理方式。流处理方式无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作。

流处理中的数据集是“无边界”的，这就产生了几个重要的影响：

• 完整数据集只能代表截至目前已经进入到系统中的数据总量。

• 工作数据集也许更相关，在特定时间只能代表某个单一数据项。

• 处理工作是基于事件的，除非明确停止否则没有“尽头”。处理结果立刻可用，并会随着新数据的抵达继续更新。

流处理系统可以处理几乎无限量的数据，但同一时间只能处理一条（真正的流处理）或很少量（微批处理，Micro-batch Processing）数据，不同记录间只维持最少量的状态。虽然大部分系统提供了用于维持某些状态的方法，但流处理主要针对副作用更少，更加功能性的处理（Functional processing）进行优化。

功能性操作主要侧重于状态或副作用有限的离散步骤。针对同一个数据执行同一个操作会或略其他因素产生相同的结果，此类处理非常适合流处理，因为不同项的状态通常是某些困难、限制，以及某些情况下不需要的结果的结合体。因此虽然某些类型的状态管理通常是可行的，但这些框架通常在不具备状态管理机制时更简单也更高效。

此类处理非常适合某些类型的工作负载。有近实时处理需求的任务很适合使用流处理模式。分析、服务器或应用程序错误日志，以及其他基于时间的衡量指标是最适合的类型，因为对这些领域的数据变化做出响应对于业务职能来说是极为关键的。流处理很适合用来处理必须对变动或峰值做出响应，并且关注一段时间内变化趋势的数据。

流处理是无限界的，适合于处理大量近乎实时的低延迟要求的数据。

Apache Storm, Spark, Flink等是代表性的流处理框架。

 

	实时(流式)	离线(批量)
应用场景(时效性)	推荐、风控、安全...	报表
实时性(延迟)	ms/s	h/d/w/m
数据集	无界	有界
计算模型	增量计算	全量计算
计算状态	常驻型	一定时间内执行结束
计算引擎	Spark Streaming, Storm, Flink	MapReduce, Spark...
可靠性	At most once, At least once, exactly once	Exactly once

 

计算引擎	Spark Streaming	Storm	Flink
处理模型	微批量(缓存一个时间空口)	流式(来一条处理一条)	流式(来一条处理一条)
延迟	高	低	低
可靠性	Exactly once	At least once	Exactly once
吞吐量	高	低	高
API抽象程度	高	低	高
运行环境	Yarn	Storm cluster	Yarn

Flink

• Flink是一个流式处理框架,能够开发分布式,高性能,高可用,准确性的流式处理任务.

• Flink能支持exactly once语义,时间窗口,高吞吐低延迟,支持checkpoint(保存内部状态,可以从此点恢复),支持状态管理

• Flink能支持算子map,reduce等等

• Flink支持Table api和SQL