随笔分类 -  流处理框架

processFunction使用及SideOutPut替换Split实现分流
摘要:自定义processFunction函数: // 3.2 添加任务,使用{@link ProcessFunction}方便控制: 1. 忽略null数据,2. 旁路输出side output DetaiEventRuleExecutingProcessor executingProcessor = 阅读全文
posted @ 2020-01-08 17:13 小勇DW3 阅读(510) 评论(0) 推荐(0) 编辑
Flink UDF--Table Functions&Aggregation Functions
摘要:1.Table Functions 表函数 与标量函数相似之处是输入可以0,1,或者多个参数,但是不同之处可以输出任意数目的行数。返回的行也可以包含一个或者多个列。 为了自定义表函数,需要继承TableFunction,实现一个或者多个evaluation方法。表函数的行为定义在这些evaluati 阅读全文
posted @ 2020-01-06 19:42 小勇DW3 阅读(1428) 评论(0) 推荐(0) 编辑
Flink中案例学习--State与CheckPoint理解
摘要:1、State概念理解 在Flink中,按照基本类型,对State做了以下两类的划分:Keyed State, Operator State。 Keyed State:和Key有关的状态类型,它只能被基于KeyedStream之上的操作,方法所使用。我们可以从逻辑上理解这种状态是一个并行度操作实例和 阅读全文
posted @ 2019-12-11 11:48 小勇DW3 阅读(2156) 评论(3) 推荐(0) 编辑
Flink中API使用详细范例--window
摘要:正文前先来一波福利推荐: 福利一: 百万年薪架构师视频,该视频可以学到很多东西,是本人花钱买的VIP课程,学习消化了一年,为了支持一下女朋友公众号也方便大家学习,共享给大家。 福利二: 毕业答辩以及工作上各种答辩,平时积累了不少精品PPT,现在共享给大家,大大小小加起来有几千套,总有适合你的一款,很 阅读全文
posted @ 2019-12-10 20:22 小勇DW3 阅读(1269) 评论(0) 推荐(0) 编辑
Flink与其他流处理方式的对比分析
摘要:正文前先来一波福利推荐: 福利一: 百万年薪架构师视频,该视频可以学到很多东西,是本人花钱买的VIP课程,学习消化了一年,为了支持一下女朋友公众号也方便大家学习,共享给大家。 福利二: 毕业答辩以及工作上各种答辩,平时积累了不少精品PPT,现在共享给大家,大大小小加起来有几千套,总有适合你的一款,很 阅读全文
posted @ 2019-08-30 22:28 小勇DW3 阅读(402) 评论(0) 推荐(0) 编辑