Flink架构分析之资源分配
摘要：
Task Slot Flink中每个真正执行任务的TaskManager都是一个JVM进程，其在多线程环境中执行一个或者多个子任务。为了控制一个JVM同时能运行的任务数量，flink引入了 的概念。每一个 代表了TaskManager资源的一个子集，比 阅读全文
posted @ 2019-03-31 22:24 andyhe 阅读(4981) 评论(0) 推荐(0) 编辑
Flink架构分析之HA
摘要：
抽象 LeaderElectionService 这个接口用于从一组竞选者中选出一个leader，其 方法需要传递一个 竞选者作为参数，如果有多个竞选者，则每一个竞选者都需要拥有自己的竞选服务类。 LeaderContender 需要竞选leader的候选者们需要实现本接口，即flink中所有需要进 阅读全文
posted @ 2019-03-25 15:02 andyhe 阅读(1091) 评论(0) 推荐(0) 编辑
Flink架构分析之Standalone模式启动流程
摘要：
概述 "FLIP6" 对Flink架构进行了改进，引入了 组件集成了所有任务共享的一些组件： ,`LibraryCacheManager Dispatcher Dispatcher JobGraphs`和提交job的相关jar包存储到持久化仓库中,保证failover后能恢复已经运行的任务。 本文基 阅读全文
posted @ 2019-03-22 17:42 andyhe 阅读(1425) 评论(0) 推荐(0) 编辑
Flink架构分析之RPC详解
摘要：
主要抽象 Flink RPC 框架主要抽象了 ,`RpcEndpoint RpcGateway RpcServer akka netty` RpcService 我理解为RPC框架的引擎，可以用来启动、停止、连接一个 ，以及执行某些异步任务或者周期性调度任务。 主要方法: :连接到一个 ,返回一个 阅读全文
posted @ 2019-03-22 17:23 andyhe 阅读(1030) 评论(0) 推荐(0) 编辑
GIT rebase讲解
摘要：
对分支进行rebase 1. 从master分支checkout出fork分支，并在master和fork上都进行了一些修改 2. 现在fork分支想要及时的同步master分支上的修改，避免在已经失效的代码上继续工作 3. 该过程总的提交树变化如下： 对一段commit进行整理（squash） & 阅读全文
posted @ 2018-10-10 23:26 andyhe 阅读(1361) 评论(0) 推荐(0) 编辑
GIT的常用命令
摘要：
git pull 用途: 获取远程主机制定分支的更新，并与本地的制定分支合并 格式: 比如，获取origin主机的master分支并与本地master分支合并的完整命令为： 如果获取远程分支与当前分支进行合并，则本地分支可以省略，如果当前分支为master则上面的命令可以简写成 如果当前分支与远程分 阅读全文
posted @ 2018-10-10 16:48 andyhe 阅读(148) 评论(0) 推荐(0) 编辑
Flink BLOB架构
摘要：
Flink中支持的BLOB文件类型 jar包 被user classloader使用的jar包 高负荷RPC消息 1. RPC消息长度超出了akka.framesize的大小 2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor 阅读全文
posted @ 2018-10-09 18:25 andyhe 阅读(4182) 评论(0) 推荐(2) 编辑
Flink HA
摘要：
standalone 模式的高可用 部署 flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成 ，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口 在一下例子 阅读全文
posted @ 2018-10-08 22:05 andyhe 阅读(1547) 评论(0) 推荐(0) 编辑
ngxin 添加模块
摘要：
./configure 文件中对自定义模块的处理 增加一个自定义模块的config文件实例 模块在 ngx_modules.c中的顺序 ngx_modules 是非常关键的数组，它指明了每个模块在Nginx中的优先级，当一个请求同时符合多个模块的处理规则时，将按照数组中的顺序选择最靠前的模块优先处理 阅读全文
posted @ 2018-10-07 20:22 andyhe 阅读(586) 评论(0) 推荐(0) 编辑
Flink standalone模式作业执行流程
摘要：
宏观流程如下图: client端 生成StreamGraph 上的一系列 调用会在 中添加相应的 对象，然后调用 方法遍历所有的 对象生成最终的 。 如上代码段会生成如下 : StreamGraph JobGraph 从 的所有source 开始遍历处理，如果是可链接的( 为`true Stream 阅读全文
posted @ 2018-10-07 20:00 andyhe 阅读(2670) 评论(0) 推荐(2) 编辑
