摘要: Docker [TOC] 介绍 DevOps = 文化 + 过程 + 工具 虚拟化:为了跨平台、资源(cpu、存储、带宽等)管理和隔离。 虚拟机:运行的程序通常会经过 Hypervisor 的监视来保证与硬件的兼容,在现实出于性能的考虑不会全部都经过 Hypervisor。 容器: 推动容器化的原因 阅读全文
posted @ 2020-05-16 15:39 justcodeit 阅读(257) 评论(0) 推荐(0) 编辑
摘要: Flink 问题总结 [TOC] 作业运行流程 新增的 operator 会被 transform 封装,例如 map(udf) OneInputTransformation,里面有序列化的 udf和operator配置(名称、uid、并行度等),并记录前一个 transformation 作为输入 阅读全文
posted @ 2020-05-16 15:25 justcodeit 阅读(4133) 评论(0) 推荐(0) 编辑
摘要: [TOC] 基本概念 线程和进程 概念 操作系统是包含多个进程,进程包含多个线程(至少一个)。 进程:unix环境,运行的程序,是系统资源分配的基本单位,包括文件/网络句柄(共享)、内存(隔离)、用户id等。 线程:cpu的基本调度单位,每个线程执行的都是进程代码的某个片段。包括栈、PC(指向自己代 阅读全文
posted @ 2020-05-16 15:15 justcodeit 阅读(1744) 评论(0) 推荐(0) 编辑
摘要: 背景 数据量不断增加,企业需要灵活快速地处理这些数据。 处理器主频和散热遇到瓶颈,多核处理器成为主流,并行化计算应用不断增加。 开源软件的成功使得大数据技术得以兴起。 互联网技术的发展让大多数企业能够积累大量的数据,而企业需要灵活快速地从这些数据中提取出有价值的信息来服务用户或帮助企业自身决策。然而 阅读全文
posted @ 2020-05-16 14:51 justcodeit 阅读(3038) 评论(0) 推荐(0) 编辑