2018年12月2日
Spark2.3（三十四）：Spark Structured Streaming之withWaterMark和windows窗口是否可以实现最近一小时统计
摘要： WaterMark除了可以限定来迟数据范围，是否可以实现最近一小时统计？ WaterMark目的用来限定参数计算数据的范围：比如当前计算数据内max timestamp是12::00，waterMark限定数据分为是60 minutes，那么如果此时输入11:00之前的数据就会被舍弃不参与统计，视为 阅读全文
posted @ 2018-12-02 19:21 cctext 阅读(3777) 评论(1) 推荐(0) 编辑