05 2020 档案

摘要:Job的划分 1、Application : 应用,创建一个SparkContext可以认为创建了一个Application 2、Job 在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job 3、stage 阶段,每碰到一个shuffle算子,会产生一个新的 阅读全文
posted @ 2020-05-11 22:29 七寸青衫 阅读(1411) 评论(0) 推荐(1) 编辑
摘要:一、关于UI地址 master: 8080 worker: 8081 application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看) 二、历史服务器(这里说明yarn模式) 1、 配置历史服务器 1)spark-defaults.conf 默认配置 spar 阅读全文
posted @ 2020-05-04 23:29 七寸青衫 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-05-04 23:16 七寸青衫 阅读(244) 评论(0) 推荐(1) 编辑
摘要:一、从github上誊代码 如图,然后粘贴连接即可 二、github代码更新 三、idea代码jar包导入虚拟机 参考连接: https://blog.csdn.net/qq_33265875/article/details/103518430 阅读全文
posted @ 2020-05-04 23:12 七寸青衫 阅读(177) 评论(0) 推荐(0) 编辑

loading: { rebound: { tension: 16, }, spinner: { id: 'spinner', radius: 90, } }
点击右上角即可分享
微信分享提示