新闻实时分析系统 Spark2.X集群运行模式
1.几种运行模式介绍
Spark几种运行模式:
1)Local
2)Standalone
3)Yarn
4)Mesos
下载IDEA并安装,可以百度一下免费文档。
2.spark Standalone模式配置并测试
1)jdk1.8已经安装
2)scala2.11.8已经安装
3)Hadoop2.5.0已经安装
4)安装Spark Standalone
a)配置slave
vi slaves
bigdata-pro01.kfk.com
bigdata-pro02.kfk.com
bigdata-pro03.kfk.com
b)配置spark-env.sh
vi spark-env.sh
export JAVA_HOME=/opt/modules/jdk1.8.0_11
export SCALA_HOME=/opt/modules/scala-2.11.8
SPARK_CONF_DIR=/opt/modules/spark-2.2.0-bin/conf
SPARK_MASTER_HOST=bigdata-pro02.kfk.com
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
c)将spark 配置分发到其他节点并修改每个节点特殊配置
scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/
scp -r spark-2.2.0-bin bigdata-pro03.kfk.com:/opt/modules/
d)启动spark
sbin/start-all.sh
e)客户端测试
bin/spark-shell --master spark://bigdata-pro02.kfk.com:7077
d)集群运行
bin/spark-submit --master spark://bigdata-pro02.kfk.com:7077 --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt hdfs://bigdata-pro01.kfk.com:9000/user/data/output
3.spark on yarn模式配置并测试
1)注意hadoop配置文件中jdk版本是否与当前jdk版本一致
2)spark on yarn 模式提交作业
bin/spark-submit --class com.spark.test.Test --master yarn --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata