摘要: Spark 将任务以 shuffle 依赖(宽依赖)为边界打散,划分多个 Stage. 最后的结果阶段叫做 ResultStage, 其它阶段叫 ShuffleMapStage. 1.从后往前推理,遇到宽依赖就断开,遇到窄依赖就把当前RDD加入到该Stage 2.每个Stage里面Task的数量是由 阅读全文
posted @ 2019-08-15 20:48 雨花石开 阅读(1387) 评论(1) 推荐(0) 编辑
摘要: spark-DAG图 DAG(Directed Acyclic Graph)叫做有向无环图,原始的RDD通过一系列的转换就就形成了DAG,RDD之间的依赖关系形成了DAG图,而根据RDD之间的依赖关系的不同将DAG划分成不同的Stage。 宽窄依赖 窄依赖:父RDD和子RDD partition之间 阅读全文
posted @ 2019-08-15 20:19 雨花石开 阅读(365) 评论(0) 推荐(0) 编辑
摘要: 一.java数据区 程序计数器,java虚拟机栈,本地方法栈,java堆,方法区,运行常量池(方法区的一部分),直接内存(非虚拟机运行时数据区的部分) 线程共享,线程私有 1.1 程序计数器 它是一块较小的内存空间,它的作用可以看做是当先线程所执行的字节码的信号指示器。 字节码解释器工作是就是通过改 阅读全文
posted @ 2019-07-18 00:12 雨花石开 阅读(193) 评论(0) 推荐(0) 编辑
摘要: ECMAScript 6是JavaScript语言的下一代标准 ES6就是ES2015。根据MCMA-262标准,实现的通用脚本语言规范 与js的关系:es是标准,而js是它的实现和扩展 js的组成: ECMAScript,由ECMA-262定义,提供核心语言功能; 文档对象模型(DOM),提供访问 阅读全文
posted @ 2019-02-21 09:37 雨花石开 阅读(401) 评论(0) 推荐(0) 编辑
摘要: 1.react介绍 本质:React 是一个用于构建用户界面的 JAVASCRIPT 库。不是一个MVC框架,而是一个前端界面开发工具,用于构建组件化UI的库。所以顶多算是MVC中的V(view)。 特点:减少与DOM的交互。React可以与已知的库或框架很好地配合。 通过 React 构建组件,使 阅读全文
posted @ 2018-12-28 14:45 雨花石开 阅读(189) 评论(0) 推荐(0) 编辑