摘要: 1、下载一个linux版本的jdk包 2、新建一个目录,专门用来存放安装包 mkdir /home/software 3、将jdk包拷贝到/home/software下面,并解压 4、配置jdk环境变量 第一步:进入到/etc/profile目录中 vim /etc/profile 第二步:配置环境 阅读全文
posted @ 2019-12-09 21:13 虎啸千峰 阅读(804) 评论(0) 推荐(0) 编辑
摘要: 1、概述 为了更好地理解调度,我们先看一下集群模式的Spark程序运行架构图,如上所示: 2、Spark中的基本概念 1、Application:表示你的程序 2、Driver:表示main函数,创建SparkContext。并由SC负责与ClusterMananger通信,进行资源的申请,任务的监 阅读全文
posted @ 2019-12-09 21:08 虎啸千峰 阅读(603) 评论(0) 推荐(1) 编辑