本机连接Spark Standalone--最简单的spark调试方式

为了既能远程连接spark  查看ui  又能本地练习  安装简单

去官网  http://spark.apache.org/downloads.html  选择对应版本下载 tar包

 

解压 tar -zxvf  spark-2.2.0-bin-hadoop2.6.tgz

sbin/start-master.sh  启动master

sbin/start-slave.sh   启动slave

 

 

正常启动了    在Web-Ui中查看  http://ip地址:8080/

启动spark-shell  spark-shell –master spark://ip地址:7077

测试   spark-submit –class org.apache.spark.examples.SparkPi –master spark://ip地址:7077 examples/jars/spark-examples_2.11-2.2.0.jar 

 

 

 

但是这样的话  本地程序

val conf = new SparkConf().setAppName("WordCount").setMaster("spark://IP地址:7077")

会报错

: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

下载hadoop  加上这句

System.setProperty("hadoop.home.dir",
  "F:\\hadoop2.6(x64)V0.2");

依然报连接超时   
org.apache.spark.SparkException: Exception thrown in awaitResult
检查防火墙都没有问题  7077端口也启动了

修改配置文件

vi conf/spark-env.sh

加上这几句

export SPARK_MASTER_HOST=master01
export SPARK_MASTER_PORT=7077
export JAVA_HOME=/opt/java/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

jdk要配  不然会报错   

source spark-env.sh

host写master01   然后在系统hosts文件里  配置内网地址  master01   

 

重启spark   

连接后正常

 

 

大数据流动 专注于大数据实时计算，数据治理，数据可视化等技术分享与实践。

请在后台回复关键字下载相关资料。相关学习交流群已经成立，欢迎加入~