Structured Streaming watermark总结

博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/15545264.html

 上图来自官方文档中对于watermark的描述。

刚开始以为只要数据的event_time大于watermark时间，就会被处理，小于watermark就不会被处理。实际测试发现并不是这样。

下面开始验证：

数据：{"timestamp":"2021-11-10T17:18:00.164+8","queryText":"aaa"}

处理结果为：

 

再次增加数据：

{"timestamp":"2021-11-10T16:18:00.164+8","queryText":"bbb"}
{"timestamp":"2021-11-10T17:01:00.164+8","queryText":"ccc"}
{"timestamp":"2021-11-10T17:06:00.164+8","queryText":"ddd"}

处理结果为：

 

 

 问题来了，为什么上一个batch的max event_time已经是17:18了，watermark阈值设置10分钟，则watermark当前值为17:08。那为何17:06的数据比watermark要早还会被处理呢。

实际是这样：

17:06的数据根据时间窗口设置，会落入 17:03-17:09 和 17:06-17:12窗口。而watermark当前为17:08，在这两个窗口之内，所以会正常计算。

由此得出结论：使用watermark时，数据是否会被计算，是根据数据落入的时间窗口包不包含watermark决定的。watermark之后的数据肯定会被计算，watermark之前的可能会被计算

因此官方文档有这句话：