flink 提交yarn 命令 flink run -m yarn-cluster

文章目录

Flink集群搭建和使用

local 本地测试
flink集群搭建

1、standallone cluster

提交任务 -- 将代码打包

2.flink on yarn 只需要部署一个节点

flink启动方式

1、yarn-session
2、直接提交任务到yarn

Flink集群搭建和使用

local 本地测试

idea运行
idea上运行

flink集群搭建

1、standallone cluster

1、准备工作有jdk,节点间免密 2、上传解压 tar -zxvf flink-1.11.0-bin-scala_2.11.tgz 配置环境变量，过于基础不写了然后生效 source /etc/profile 3、修改配置文件修改conf下的flink-conf.yaml vim conf/flink-conf.yaml #需要改的内容如下: jobmanager.rpc.address: master 主节点ip地址修改workers vim conf/workers 修改如下: 增加从节点 node1 node2 (把localhost改为node1,node2) 修改masters vim conf/masters 改成主节点ip 同步到所有节点pwd是当前路径看清楚了 scp -r flink-1.11.0/ node1:`pwd` 4、启动集群 start-cluster.sh

http://master:8081 访问web界面

提交任务 – 将代码打包

1、在web页面提交任务

flink 提交yarn 命令 flink run -m yarn-cluster_hadoop

传完了可以点击包名,输入类名（Entry Class），后面那个Paralleism是设置并行度的，其它不用管，然后点击submit即可

flink 提交yarn 命令 flink run -m yarn-cluster_hadoop_02

2、web提交和flink命令提交任务一样，在shell里输入下面命令

3、rpc方式提交任务（远程命令提交，直接在idea里打包idea里运行）

package com.liu.core
import org.apache.flink.streaming.api.scala._
/**


@ Author : ld


@ Description :


@ Date : 2021/11/23 18:57


@ Version : 1.0

*/

object WordCountRPC {

def main(args: Array[String]): Unit = {

//创建flink的环境

//注意下面参数设置

val env = StreamExecutionEnvironment.createRemoteEnvironment("master", 45189, "F:\ideaProject\liubigdata12\Flink\target\Flink-1.0-SNAPSHOT.jar")

//设置并行度

//    env.setParallelism(2)

//读取socket数据

//nc -lk 8888

env.socketTextStream("master",8888)

//把单词拆分

.flatMap(.split(","))

//转换成kv格式

.map((,1))

//按单词分组

.keyBy(_._1)

//统计单词数量

.sum(1)

//打印结果

.print()
//启动flink

env.execute()

}

}
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.