Kafka Strem

Overview

Concepts

Topology

Time

States

Window

Hopping time windows

Tumbling time windows

Sliding windows

Join

API

Low-Level Processor API

High-Level DSL API

 

Overview

Kafka Stream特点

》简单轻量的SDK

》除了对Kafka本身的依赖外，无外部依赖

》支持容错的local state从而支持高效的状态操作，如Join和Window操作

》Record级别的处理

》提供两种处理原语，Processor API和DSL

Concepts

Stream Topology

》Stream时间上无解的，有序的，不可变数据集

》Stream Processing application通过一个或多个Topology定义的计算逻辑

》Stream processor一个计算原语，类似于Storm的Bolt

Time

》Event Time消息创建时间，一般由消费携带

》Processing Time消息被处理的时间

》Ingestion Time消息存入Topic/Partition时的时间

State

》In-memory State Store（类似Hash表，将结果存在内存中）

》Persistent State Store（一份存内存，一份存磁盘）

 

Window

Hopping time windows

》Advance interval 结果输出interval

》Window size计算数据集

》使用场景：Advance interval为1个小时，Window size为1s，1s刷新一次，我能知道每秒后前一个小时的pv/uv量

Tumbling time windows

》Hopping time windows的特例（Advance interval=Window size）

》使用场景：统计每一个小时的pv/uv是多少

Sliding windows

》只用于Join操作，可由JoinWindow类指定

 

KStream vs. KTable

KStream

》KStream为数据流，每条消息代表一条不可变的新纪录

Ktable

》KTable为change log流，每条消息代表一个更新，几条key相同的消息会将该key的值更新为最后一条消息的值

Example

》对于KStream和KTable中插入两条消息(“key”,1),(“key2”,2)

》对KStream作sum，结果为(“key1”,3)

》对KTable作sum，结果为(“key1”,2)

 

Join

KSream-KStream Join

》适用于Window Join

》结果为KStream

KStream-KTable Join

》KTable的变化只影响KStream中新数据

》新结果的输入由KStream驱动

》输出为KStream

KTable-KTable join

》类似于RDBMS的Join

》结果为KTable