Flink1.18 Transfrom - 分流【Filter】

合集 - flink1.18.x 开发常用代码案例模板(30)

1.Flink1.18环境代码编写02-262.Flink1.18传统批处理代码编写02-263.flink1.18传统流处理环境编写02-264.flink1.18流批一体DataStream代码编写02-265.Flink1.18 Source - FileSource02-266.Flink1.18 Source - fromElements02-267.Flink1.18 Source - KafkaSource02-268.Flink1.18 Source - 数据生成器02-269.Flink1.18 Transfrom - Map02-2610.Flink1.18 Transfrom - flatMap02-2611.Flink1.18 Transfrom - Filter02-2612.Flink1.18 Transfrom - KeyBy02-2613.Flink1.18 Transfrom - RichFunction02-2614.Flink1.18 Transfrom - SimpleAggregate简单聚合算子02-2615.Flink1.18 Transfrom - Reduce02-2616.Flink1.18 Transfrom - 分区器【7种现成】02-2617.Flink1.18 Transfrom - CustomPartition自定义分区器02-26

18.Flink1.18 Transfrom - 分流【Filter】02-26

19.Flink1.18 Transfrom - 分流【侧输出流 ProcessFunction】02-2620.Flink1.18 Transfrom - 合流【Union】02-2621.Flink1.18 Transfrom - 合流【Connect, 并行度为1的情况】02-2622.Flink1.18 Transfrom - 合流【Connect 两个流数据进行关联】02-2623.Flink1.18 Sink - 到文件 新版本写法sinkToFile02-2624.Flink1.18 Sink - 到Kafka 新版本写法sinkTo的使用02-2625.Flink1.18 Sink - 到Kafka自定义序列化类 新版本写法sinkTo的使用02-2626.Flink1.18 Sink - 到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】02-2627.Flink1.18 Sink - 精确一次ExactlyOnce到JDBC 使用新依赖【因返回值是sinkFunction, 故目前只支持addSink使用, 1.18版本不支持sinkTo】02-2628.Flink1.18 Sink - 自定义sink02-2629.大数据之路Week10_day07 (JavaAPI 操作Redis 与Hbase建立索引，通过查询redis中的索引查询Hbase数据）2020-01-1230.大数据之路Week10_day07 (JavaAPI 操作Redis 模拟将redis当作缓存，从Mysql数据库中查询数据）2020-01-12

收起

package com.xiaohu.transfrom.streamtranform;

import com.xiaohu.transfrom.MyPartitioner;
import org.apache.flink.api.java.functions.KeySelector;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/*
    分流

    需求：将数据按照奇数和偶数分开为两个流进行处理
 */
public class FilterDemo {
    public static void main(String[] args) throws Exception{
        Configuration conf = new Configuration();
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);
        env.setParallelism(2);
        //设置流处理环境还是批处理环境 DataSet API已经过时了，现在都是一套代码，进行设置
//        env.setRuntimeMode(RuntimeExecutionMode.BATCH); //批处理
//        env.setRuntimeMode(RuntimeExecutionMode.STREAMING); //流处理，默认就是流处理
        //一般情况下，不会在代码中指定，不够灵活，一般都是在提交的时候，使用命令进行指定 flink run  -Dexecution.runtime-mode=BATCH【STREAMING】 ...

        DataStreamSource<String> socketDS = env.socketTextStream("master", 7777);

        //可以使用两遍filter算子，分别过滤奇数或偶数
        //缺点：socketDS被处理了两次
        socketDS.filter(e->Integer.parseInt(e)%2==0).print("偶数流：");
        socketDS.filter(e->Integer.parseInt(e)%2==1).print("奇数流：");

        //使用侧输出流



        env.execute();
    }
}