摘要: A Kafka client that publishes records to the Kafka cluster. The producer is thread safe and sharing a single producer instance across threads will gen 阅读全文
posted @ 2018-09-25 17:35 大数据从业者FelixZh 阅读(1095) 评论(0) 推荐(0) 编辑
摘要: 很高兴地告诉大家,具备新的里程碑意义的功能的Kafka 0.11.x版本(对应 Confluent Platform 3.3)已经release,该版本引入了exactly-once语义,本文阐述的内容包括: Apache Kafka的exactly-once语义; 为什么exactly-once是 阅读全文
posted @ 2018-09-25 17:25 大数据从业者FelixZh 阅读(577) 评论(0) 推荐(0) 编辑
摘要: Exactly-once Semantics are Possible: Here’s How Kafka Does it I’m thrilled that we have hit an exciting milestone the Kafka community has long been wa 阅读全文
posted @ 2018-09-25 17:23 大数据从业者FelixZh 阅读(496) 评论(0) 推荐(0) 编辑
摘要: Tumbing Windows:滚动窗口,窗口之间时间点不重叠。它是按照固定的时间,或固定的事件个数划分的,分别可以叫做滚动时间窗口和滚动事件窗口。Sliding Windows:滑动窗口,窗口之间时间点存在重叠。对于某些应用,它们需要的时间是不间断的,需要平滑的进行窗口聚合。 例如,可以每30s记 阅读全文
posted @ 2018-09-25 09:56 大数据从业者FelixZh 阅读(1412) 评论(0) 推荐(1) 编辑
摘要: Window是无限数据流处理的核心,Window将一个无限的stream拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进行窗口操作,以及程序员如何从window提供的功能中获得最大的收益。 窗口化的Flink程序的一般结构如下,第一个代码段中是分 阅读全文
posted @ 2018-09-25 09:52 大数据从业者FelixZh 阅读(2336) 评论(0) 推荐(0) 编辑