flink 学习，从单词计数开始

想学习下 flink，开始。

需求很简单，使用 flink 统计本地磁盘上一个文件的单词频率，实现方式有二 DataSet 和 DataStream，两种方式统计的结果出乎我这个新手的预料。

操作步骤：

1. 在 CentOS 中部署单节点的 flink，修改 conf/flink-conf.yaml 文件，根据情况修改 rest.port，rest.address，rest.bind-address 的值，执行 start-cluster.sh 脚本启动 flink

2. 在 idea 中开发 flink 任务

package com.example;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class WordCountExample {

    private static Logger logger = LoggerFactory.getLogger(WordCountExample.class);

    public static void main(String[] args) throws Exception {
        if (args.length != 1) {
            System.err.println("Usage: WordCountExample <input type>");
            System.exit(-1);
        }

        String marker = args[0];
        if (marker.equals("1")) {
            dataSet();
        } else {
            dataStream();
        }
    }

    private static void dataSet() throws Exception {
        // set up the execution environment
        final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从文件读取数据
        DataSet<String> text = env.readTextFile("/home/devops/input.txt");

        // 处理数据流
        DataSet<Tuple2<String, Integer>> wordCounts = text
                .flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
                    @Override
                    public void flatMap(String line, Collector<Tuple2<String, Integer>> out) {
                        String[] words = line.toLowerCase().split("\\W+");
                        for (String word : words) {
                            if (word.length() > 0) {
                                out.collect(new Tuple2<>(word, 1));
                            }
                        }
                    }
                }).groupBy(0) // 根据单词分组
                .sum(1); // 对每个单词的计数求和

        // 将数据流写入到文件中
        wordCounts.writeAsText("/home/devops/output.txt", org.apache.flink.core.fs.FileSystem.WriteMode.OVERWRITE);

        // 执行任务
        env.execute("Word Count Example");
    }

    private static void dataStream() throws Exception {
        // 创建 Flink 流处理执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 假设我们的数据源是一个文本文件，这里使用读取文件的方式
        DataStream<String> text = env.readTextFile("/home/devops/input.txt");

        // 使用 flatMap 函数将每一行文本分割成单词
        DataStream<Tuple2<String, Integer>> words = text.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
                // 规范化和分割文本行
                String[] tokens = value.toLowerCase().split("\\W+");
                for (String token : tokens) {
                    if (token.trim().length() > 0) {
                        out.collect(new Tuple2<>(token, 1));
                    }
                }
            }
        });

        // 按单词分组并计算每个单词的频率
        DataStream<Tuple2<String, Integer>> wordCounts =
                words.keyBy(0)
                .sum(1);

        // 将数据流写入到文件中
        wordCounts.writeAsText("/home/devops/output.txt", org.apache.flink.core.fs.FileSystem.WriteMode.OVERWRITE);

        // 执行 Flink 程序
        env.execute("Flink Word Count Example");
    }
}

3. 在界面中提交任务，并执行

4. 程序参数先输入 1，执行 DataSet，而后输入 2 ，执行 DataStream

输入文件 input.txt 内容见下图，通过 DataSet 有界数据计算出的词频复合预期，hello 一共出现了 4 次，而通过 DataStream 计算出的词频则让初学者不可思议。