Apache Flink Local模式部署——批处理和流处理

Apache Flink部署模式有如下三种模式：
Flink Local 模式
Flink Standalone 模式
Flink ON YARN 模式

本文主要介绍Apache Flink的本地部署模式。

本地部署模式主要用于开发者程序调试测试使用。

1、启动Flink

$ cd D:\dev\flink-1.9.2\bin
$ start-cluster.bat ## 双击启动Flink

 

通过web前端检查服务是否正常运行
http://localhost:8081
Web前端可以看到有一个可用的TaskManager实例。

通过jps检查服务启动情况

还可以通过检查logs目录中的日志文件来验证系统是否正在运行：

$ tail log/flink-*-standalonesession-*.log

 

2、Flink local模式-Java批处理命令

$ cd D:\dev\flink-1.9.2\bin
$ flink run -c com.dajiangtai.batch.WordCount D:\jar\learning-flink-1.0.jar
$ flink run -c com.dajiangtai.batch.WordCount D:\jar\learning-flink-1.0.jar --input D:\jar\in.txt --output D:\jar\out.txt

注意：--output指定的文件已存在，执行时报错；正确做法是命令行指定输出文件，不用创建out.txt文件。

3、Flink local模式-Java流处理命令

$ cd D:\dev\flink-1.9.2\bin
$ flink run -c com.dajiangtai.stream.WordCount D:\jar\learning-flink-1.0.jar 
$ flink run -c com.dajiangtai.stream.WordCount D:\jar\learning-flink-1.0.jar --input D:\jar\in.txt --output D:\jar\out2.txt

 

问题一：

Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable.

原因：不将当前目录定位到 Flink 的话，运行 job 会报 The configuration directory was not specified. 错误。