spark启动

注意在启动spark时候要指定参数 要不就死启动的单机版的

   

/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \

--master spark://node1.itcast.cn:7077 \ 

--executor-memory 2g \

--total-executor-cores 2

 

参数说明：

--master spark://node1.itcast.cn:7077 指定Master的地址

--executor-memory 2g 指定每个worker可用内存为2G

--total-executor-cores 2 指定整个集群使用的cup核数为2个

 

这样便启动了 worker  master

 

启动 spark-shell

上传文件 到 hdfs

spark-shell中编写spark程序