Flink - [05] 时间语义 & Watermark
题记部分
一、时间语义
Flink中的时间语义分为以下，
（1）Event Time：事件创建的时间
（2）Ingestion Time：数据进入Flink的时间
（3）Processing Time：执行操作算子的本地系统事件，与机器相关
哪种时间语义更重要？
- 不同的时间语义有不同的应用场合，我们往往更关心事件时间（Event Time）
- 某些场合，不应该使用Processing Time
- Event Time可以从日志数据的时间戳（timestamp）中提取
2017-11-02 18:37:15.624 INFO Fail over to rm
1.1、设置Event Time
可以直接在代码中，对执行环境调用setStreamTimeCharacteristic方法，设置流的时间特性
具体的时间，还需要从数据中提取时间戳（timestamp）
val env = StreamExecutionEnvironment.getExecutionEnvironment
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
1.2、乱序数据的影响
（1）当Flink以Event Time模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子
（2）由于网络、分布式等原因，会导致乱序数据的产生
（3）乱序数据会让窗口计算不准确
二、Watermark（水位线）
（1）怎样避免乱序数据带来计算不正确？
（2）遇到一个时间戳达到了窗口关闭窗口，不应该立刻触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口
Watermark是一种衡量Event Time进展的机制，可以设定延迟触发
Watermark是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark机制结合window来实现。
数据流中的Watermark用于表示timestamp小于Watermark的数据都已经到达了，因此，window的执行也是由Watermark触发的。
watermark用来让程序自己平衡延迟和结果正确性。
2.1、Watermark的特点
（1）watermark是一条特殊的数据记录
（2）watermark必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退
（3）watermark与数据的时间戳相关
2.2、watermark的传递
2.3、watermark的引入
Event Time的使用一定要指定数据源中的时间戳
调用.assignTimestampsAndWatermarks()方法，传入一个BoundedOutOfOrdernessTimestampExtractor，就可以指定watermark
dataStream.assignTimestampsAndWatermarks(
new BoundedOutOfOrdernessTimestampExtractor[SensorReading]
(Time.milliseconds(1000)){
override def extractTimestamp(element: SensorReading): Long = {
element.timestamp * 1000
}
}
)对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了
dataStream.assignAscendingTimestamps(_.timestmap * 1000)Flink暴露了TimestampAssigner接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成watermark
dataStream.assignTimestampsAndWatermarks(new MyAssigner())MyAssigner可以有两种类型，都继承自TimestampAssigner
2.4、TimestampAssigner
定义了抽取时间戳，以及生成watermark的方法，有两种类型，
（1）AssignerWithPeriodicWatermarks
① 周期性的生成watermark：系统会周期性的将watermark插入到流中
② 默认周期是200毫秒，可以使用ExecutionConfig.setAutoWatermarkInterval()方法进行设置
③ 升序和前面乱序的处理BounderOutOfOrderness，都是基于周期性watermark的
（2）AssignerWithPunctuatedWatermarks：没有时间周期规律，可打断生成watermark
2.5、watermark的设定
在Flink中，watermark由应用程序开发人员生成，这通常需要对相应的领域有一定的了解。如果watermark设置的延迟太久，收到结果的速度可能就会很慢，解决办法是在水位线到达之前输出一个近似结果。而如果watermark到达太早，则可能收到错误结果，不过Flink处理延迟数据的机制可以解决这个问题。
— 业精于勤荒于嬉，行成于思毁于随 —
