andyhe - 博客园

Flink架构分析之资源分配

摘要： Task Slot Flink中每个真正执行任务的TaskManager都是一个JVM进程，其在多线程环境中执行一个或者多个子任务。为了控制一个JVM同时能运行的任务数量，flink引入了的概念。每一个代表了TaskManager资源的一个子集，比阅读全文

posted @ 2019-03-31 22:24 andyhe 阅读(5175) 评论(0) 推荐(0)

Flink架构分析之HA

摘要：抽象 LeaderElectionService 这个接口用于从一组竞选者中选出一个leader，其方法需要传递一个竞选者作为参数，如果有多个竞选者，则每一个竞选者都需要拥有自己的竞选服务类。 LeaderContender 需要竞选leader的候选者们需要实现本接口，即flink中所有需要进阅读全文

posted @ 2019-03-25 15:02 andyhe 阅读(1127) 评论(0) 推荐(0)

Flink架构分析之Standalone模式启动流程

摘要：概述 "FLIP6" 对Flink架构进行了改进，引入了组件集成了所有任务共享的一些组件： ,`LibraryCacheManager Dispatcher Dispatcher JobGraphs`和提交job的相关jar包存储到持久化仓库中,保证failover后能恢复已经运行的任务。本文基阅读全文

posted @ 2019-03-22 17:42 andyhe 阅读(1500) 评论(0) 推荐(0)

Flink架构分析之RPC详解

摘要：主要抽象 Flink RPC 框架主要抽象了 ,`RpcEndpoint RpcGateway RpcServer akka netty` RpcService 我理解为RPC框架的引擎，可以用来启动、停止、连接一个，以及执行某些异步任务或者周期性调度任务。主要方法: :连接到一个 ,返回一个阅读全文

posted @ 2019-03-22 17:23 andyhe 阅读(1140) 评论(0) 推荐(0)

GIT rebase讲解

摘要：对分支进行rebase 1. 从master分支checkout出fork分支，并在master和fork上都进行了一些修改 2. 现在fork分支想要及时的同步master分支上的修改，避免在已经失效的代码上继续工作 3. 该过程总的提交树变化如下：对一段commit进行整理（squash） & 阅读全文

posted @ 2018-10-10 23:26 andyhe 阅读(1383) 评论(0) 推荐(0)

GIT的常用命令

摘要： git pull 用途: 获取远程主机制定分支的更新，并与本地的制定分支合并格式: 比如，获取origin主机的master分支并与本地master分支合并的完整命令为：如果获取远程分支与当前分支进行合并，则本地分支可以省略，如果当前分支为master则上面的命令可以简写成如果当前分支与远程分阅读全文

posted @ 2018-10-10 16:48 andyhe 阅读(165) 评论(0) 推荐(0)

Flink BLOB架构

摘要： Flink中支持的BLOB文件类型 jar包被user classloader使用的jar包高负荷RPC消息 1. RPC消息长度超出了akka.framesize的大小 2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor 阅读全文

posted @ 2018-10-09 18:25 andyhe 阅读(4327) 评论(0) 推荐(2)

Flink HA

摘要： standalone 模式的高可用部署 flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口在一下例子阅读全文

posted @ 2018-10-08 22:05 andyhe 阅读(1617) 评论(0) 推荐(0)

ngxin 添加模块

摘要： ./configure 文件中对自定义模块的处理增加一个自定义模块的config文件实例模块在 ngx_modules.c中的顺序 ngx_modules 是非常关键的数组，它指明了每个模块在Nginx中的优先级，当一个请求同时符合多个模块的处理规则时，将按照数组中的顺序选择最靠前的模块优先处理阅读全文

posted @ 2018-10-07 20:22 andyhe 阅读(605) 评论(0) 推荐(0)

Flink standalone模式作业执行流程

摘要：宏观流程如下图: client端生成StreamGraph 上的一系列调用会在中添加相应的对象，然后调用方法遍历所有的对象生成最终的。如上代码段会生成如下 : StreamGraph JobGraph 从的所有source 开始遍历处理，如果是可链接的( 为`true Stream 阅读全文

posted @ 2018-10-07 20:00 andyhe 阅读(2703) 评论(0) 推荐(2)