2020年3月5日

flink窗口

摘要: flink直接读取集合或文件中的数据时,实际处理的是有界流,类似批处理。 窗口类型: 时间窗口:滚动时间窗口、滑动时间窗口、会话窗口 计数窗口:滚动计数窗口、滑动计数窗口 watermark watermark是插在数据流中的时间戳,与到达的数据的时间戳有关。表示watermark之前的数据都已成功 阅读全文

posted @ 2020-03-05 17:31 二十年后20 阅读(406) 评论(0) 推荐(0) 编辑

flink架构原理

摘要: 行内大数据平台流计算: 一个作业启动一个flink集群,各个作业的flink集群是隔离的,在web ui点击cancel后将job cancel掉,同时将集群终止,将作业终止。 on k8s:一个tm一个slot。 on yarn:一个tm可有多个slot。 kafka topic TopicSch 阅读全文

posted @ 2020-03-05 16:04 二十年后20 阅读(1775) 评论(2) 推荐(0) 编辑

导航