Flink初级编程实践
实验8
Flink初级编程实践
1.实验目的
（1）通过实验掌握基本的Flink编程方法。
（2）掌握用IntelliJ IDEA工具编写Flink程序的方法。
2.实验平台
（1）Ubuntu18.04（或Ubuntu16.04）。
（2）IntelliJ IDEA。
（3）Flink1.9.1。
3.实验步骤
（1）使用IntelliJ IDEA工具开发WordCount程序
在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。
（2）数据流词频统计
使用Linux系统自带的NC程序模拟生成数据流，不断产生单词并发送出去。编写Flink程序对NC程序发来的单词进行实时处理，计算词频，并把词频统计结果输出。要求首先在IntelliJ IDEA中开发和调试程序，然后，再打成JAR包部署到Flink中运行。
4.实验报告
|
题目： |
实验8 Flink初级编程实践
|
姓名 |
王洪兵 |
日期 2023.12.19 |
|
实验环境： （1）操作系统：Linux； （2）Hadoop版本：3.1.0。 （3）虚拟机：VMware。 （4）工具：xshell。 （5）JDK版本：1.8； （6）Java IDE：IDEA。 （7）Flink1.9.1
|
||||
|
实验内容与完成情况：
（1）使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。 安装并启动flink
编写代码
添加依赖
发送到flink中运行结果
Web网页查看
（2）数据流词频统计 使用Linux系统自带的NC程序模拟生成数据流，不断产生单词并发送出去。编写Flink程序对NC程序发来的单词进行实时处理，计算词频，并把词频统计结果输出。要求首先在IntelliJ IDEA中开发和调试程序，然后，再打成JAR包部署到Flink中运行。 在IDEA中编写代码
添加依赖
启动NC输入一些单词
在flink中运行
在浏览器中查看
|
||||
|
出现的问题： (1) flink的网页通过localhost:8080打不开
(2) 运行数据流词频统计代码时报错,运行失败
|
||||
|
解决方案（列出遇到的问题和解决办法，列出没有解决的问题）： (1) 使用hadoop102:8081正常打开web (2) 先运行nc -lk 9000,在启动代码
|
||||
