摘要: Flink之Flink运行时架构 目录 1、Flink运行时的组件 2、Flink任务提交流程 3、Flink任务调度流程 1、Flink运行时的组件 JobManager(作业管理器) 控制一个应用程序的主进程,也就是说每个应用程序会被一个不同的JobManager所控制执行 JobManager 阅读全文
posted @ 2020-10-17 02:25 这个小仙女真可爱 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 大数据面试之Flink 目录 1、Flink如何隔离多个作业任务 2、Flink如何管理内存 1、Flink如何隔离多个作业任务 Flink使用Slot来隔离多个作业任务。TaskManager将计算资源划分为多个Slot,每个Slot独享给其分配的计算资源(如内存),这种静态的资源管理方式有利于任 阅读全文
posted @ 2020-10-16 00:41 这个小仙女真可爱 阅读(480) 评论(0) 推荐(0) 编辑
摘要: Flink实时数仓(一)架构设计 1、架构设计 2、数据同步方案 阅读全文
posted @ 2020-10-13 22:43 这个小仙女真可爱 阅读(1261) 评论(0) 推荐(0) 编辑
摘要: 目录 HDFS 1、HDFS写流程 1、client向NameNode通信请求上传文件,NameNode响应可以上传文件 2、client向NameNode请求上传第一个block,请NameNode返回DataNode信息,NameNode向客户端反馈可以存储数据的DataNode信息(Namen 阅读全文
posted @ 2020-10-12 22:07 这个小仙女真可爱 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 转自 https://zhuanlan.zhihu.com/p/22736103 阅读全文
posted @ 2020-10-11 22:35 这个小仙女真可爱 阅读(112) 评论(0) 推荐(0) 编辑
摘要: Flink UI 详解 1、主页 2、Running Jobs 2.1 Running Jobs Overview 2.1.1 Jobs Detail 通过点击plan图或者点击status就可以看到Task Detail了 Task Detail里面包括以下部分: 1、JobGraphNode包含 阅读全文
posted @ 2020-10-11 22:33 这个小仙女真可爱 阅读(6672) 评论(0) 推荐(1) 编辑
摘要: flink学习中遇到的问题 1、org.apache.hadoop.ipc.RemoteException(java.io.IOException) Caused by: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.R 阅读全文
posted @ 2020-10-11 15:38 这个小仙女真可爱 阅读(1780) 评论(0) 推荐(0) 编辑
摘要: 大数据面试(一)之JVM 1、JVM的基本概念 JVM是用于运行Java字节码的虚拟机,包括一套字节码指令集,一组程序寄存器,一个虚拟机栈,一个虚拟机堆,一个方法区及一个垃圾回收器。JVM运行在操作系统之上,不与硬件设备直接交互。 Java程序的具体运行过程: ①Java源文件被编译器编译成字节码文 阅读全文
posted @ 2020-10-09 00:04 这个小仙女真可爱 阅读(123) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/mrwangc/article/details/53337600 阅读全文
posted @ 2020-09-23 00:30 这个小仙女真可爱 阅读(166) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/weixin_41301508/article/details/81191040 阅读全文
posted @ 2020-09-22 23:41 这个小仙女真可爱 阅读(132) 评论(0) 推荐(0) 编辑