随笔分类 - Spark
摘要:Job的划分 1、Application : 应用,创建一个SparkContext可以认为创建了一个Application 2、Job 在一个app中每执行一次行动算子 就会创建一个Job,一个application会有多个job 3、stage 阶段,每碰到一个shuffle算子,会产生一个新的
阅读全文
摘要:一、关于UI地址 master: 8080 worker: 8081 application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看) 二、历史服务器(这里说明yarn模式) 1、 配置历史服务器 1)spark-defaults.conf 默认配置 spar
阅读全文