Flink初级编程实践
实验8
Flink初级编程实践
1.实验目的
(1)通过实验掌握基本的Flink编程方法。
(2)掌握用IntelliJ IDEA工具编写Flink程序的方法。
2.实验平台
(1)Ubuntu18.04(或Ubuntu16.04)。
(2)IntelliJ IDEA。
(3)Flink1.9.1。
3.实验步骤
(1)使用IntelliJ IDEA工具开发WordCount程序
在Linux系统中安装IntelliJ IDEA,然后使用IntelliJ IDEA工具开发WordCount程序,并打包成JAR文件,提交到Flink中运行。
(2)数据流词频统计
使用Linux系统自带的NC程序模拟生成数据流,不断产生单词并发送出去。编写Flink程序对NC程序发来的单词进行实时处理,计算词频,并把词频统计结果输出。要求首先在IntelliJ IDEA中开发和调试程序,然后,再打成JAR包部署到Flink中运行。
4.实验报告
题目: |
实验8 Flink初级编程实践
|
姓名 |
王洪兵 |
日期 2023.12.19 |
实验环境: (1)操作系统:Linux; (2)Hadoop版本:3.1.0。 (3)虚拟机:VMware。 (4)工具:xshell。 (5)JDK版本:1.8; (6)Java IDE:IDEA。 (7)Flink1.9.1
|
||||
实验内容与完成情况:
(1)使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA,然后使用IntelliJ IDEA工具开发WordCount程序,并打包成JAR文件,提交到Flink中运行。 安装并启动flink
编写代码
添加依赖
发送到flink中运行结果
Web网页查看
(2)数据流词频统计 使用Linux系统自带的NC程序模拟生成数据流,不断产生单词并发送出去。编写Flink程序对NC程序发来的单词进行实时处理,计算词频,并把词频统计结果输出。要求首先在IntelliJ IDEA中开发和调试程序,然后,再打成JAR包部署到Flink中运行。 在IDEA中编写代码
添加依赖
启动NC输入一些单词
在flink中运行
在浏览器中查看
|
||||
出现的问题: (1) flink的网页通过localhost:8080打不开
(2) 运行数据流词频统计代码时报错,运行失败
|
||||
解决方案(列出遇到的问题和解决办法,列出没有解决的问题): (1) 使用hadoop102:8081正常打开web (2) 先运行nc -lk 9000,在启动代码
|