【1】JobManager启动
一、Flink底层通信技术
Akka + Netty
Akka:它是基于协程的,基于scala的偏函数
Netty:相比更加基础一点,可以为不同的应用层通信协议(RPC,FTP,HTTP等)提供支持
1.1 Akka 简介,Flink叫 XXXGateWay
组件介绍
(1)ActorSystem 是管理 Actor 生命周期的组件,Actor 是负责进行通信的组件
(2)每个 Actor 都有一个 MailBox,别的 Actor 发送给它的消息都首先储存在 MailBox 中,通过这种 方式可以实现异步通信。
(3)每个 Actor 是单线程的处理方式,不断的从 MailBox 拉取消息执行处理,所以对于 Actor 的消息处理,不适合调用会阻塞的处理方法。
(4)Actor 可以改变他自身的状态,可以接收消息,也可以发送消息,还可以生成新的 Actor
(5)每一个ActorSystem 和 Actor都在启动的时候会给定一个 name,如果要从ActorSystem中,获取一 个 Actor,则通过以下的方式来进行 Actor的获取:akka.tcp://actorsystem_name@bigdata02:9527/user/actor_name 来进行定位
(6)如果一个 Actor 要和另外一个 Actor进行通信,则必须先获取对方 Actor 的 ActorRef 对象,然 后通过该对象发送消息即可。
(7)通过 tell 发送异步消息,不接收响应,通过 ask 发送异步消息,得到 Future 返回,通过异步回到返回处理结果。
1.2 Flink RPC
通讯基础单元:Flink的RpcEndpoint,等同 Akka 中的 Actor
Flink的RPC实现源码路径:flink-runtime 模块的org.apache.flink.runtime.rpc包中
最重要四个Api
组件 | 描述 |
RpcServer |
相当于 RpcEndpoint 自身的的代理对象。RpcServer 是 RpcService 在启动了 RpcEndpoint 之后返回的对象,每一个 RpcEndpoint 对 象内部都有一个 RpcServer 的成员变量,通过 getSelfGateway 方法就可以获得 自身的代理,然后调用该 Endpoint 提供的服务。 |
RpcEndpoint |
对RPC框架中提供具体服务的实体的抽象,所有提供远程调用方法的组件都需要继承该抽象类。另外,对于同一个 RpcEndpoint 的所有 RPC 调用都会在同一个线程(RpcEndpoint 的“主线程”)中执行,因此无需担心并发执行的线程安全问题。 |
RpcGateway | 远程调用的代理接口。提供了获取其所代理的 RpcEndpoint 的地址的方法。在实现一个提供 RPC 调用的组件时,通常需要先定一个接口,该接口继承 RpcGateway 并约定好提供的远程调用的方法 |
RpcService |
是 RpcEndpoint 的运行时环境,RpcService 提供了启动 RpcEndpoint , 连接到 远端 RpcEndpoint 并返回远端 RpcEndpoint 的代理对象等方法。此外, RpcService 还提供了某些异步任务或者周期性调度任务的方法。 |
流程图~~~~~