摘要: 1 函数类(Function Classes) Flink暴露了所有udf函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。 下面例子实现了FilterFunction接口: DataStream<String> 阅读全文
posted @ 2020-11-29 12:00 huihui大数据 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 转换算子 1.map DataStream<Integer> mapStram = dataStream.map(new MapFunction<String, Integer>() { public Integer map(String value) throws Exception { retu 阅读全文
posted @ 2020-11-29 11:48 huihui大数据 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 1.Flink的几种运行模式 1.yarn模式(重点) ①Sesson模式 它是启动一个Flink集群,向集群提交任务时,资源是共享的,如果资源不够,其它任务就必须要等待了。 它一般是运行小而快的任务,一般适用于离线任务 ②per-job模式 它每一个提交的任务都有一个独立的Flink集群。独立的资 阅读全文
posted @ 2020-11-29 10:19 huihui大数据 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 一.Environment 1.getExecutionEnvironment ①ExecutionEnvironment.getExecutionEnvironment ②StreamExecutionEnvironment.getExecutionEnvironment ③如果没有设置并行度,会 阅读全文
posted @ 2020-11-29 10:14 huihui大数据 阅读(520) 评论(0) 推荐(0) 编辑