sunny123456

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
  1796 随笔 :: 22 文章 :: 24 评论 :: 226万 阅读
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

在Flink 1.11中,assignTimestampsAndWatermarks方法已经被新的方法assignTimestamps和assignWatermarks所替代。这是为了更好地将时间戳和水位线的定义分离开来
以下是使用新API的示例代码:
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.AssignerWithPunctuatedWatermarks;

public class FlinkEventTimeExample {

public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);

    // 假设数据源是一个自定义的无界数据源
    DataStream<MyEvent> stream = env.addSource(new MyCustomSource());

    // 为数据流分配事件时间字段
    stream
        .assignTimestampsAndWatermarks(
            WatermarkStrategy
                .forBoundedOutOfOrderness(Duration.ofSeconds(20))
                .withTimestampAssigner(new SerializableTimestampAssigner<MyEvent>() {
                    @Override
                    public long extractTimestamp(MyEvent element, long recordTimestamp) {
                        return element.getEventTimestamp();
                    }
                })
                .withWatermarkGenerator(new AssignerWithPunctuatedWatermarks<MyEvent>() {
                    @Nullable
                    @Override
                    public Watermark checkAndGetNextWatermark(MyEvent lastElement, long extractedTimestamp) {
                        return new Watermark(lastElement.getEventTimestamp() - 1);
                    }
                })
        );

    // 进一步的数据处理逻辑...

    env.execute("Flink Event Time Example");
}

public static class MyEvent {
    public long getEventTimestamp() {
        // 返回事件时间戳的方法
        return 0;
    }
}

public static class MyCustomSource implements SourceFunction<MyEvent> {
    // 实现自定义数据源的逻辑
}

}

在这个例子中,WatermarkStrategy被用来定义水位线的生成策略。你可以使用forBoundedOutOfOrderness或者forMonotonousTimestamps等方法来指定水位线的生成,并通过withTimestampAssigner指定时间戳的提取方式。如果需要更复杂的水位线生成逻辑,可以通过实现AssignerWithPunctuatedWatermarks接口来定义。

posted on   sunny123456  阅读(178)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示