解决 A master URL must be set in your configuration的报错

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
18/12/19 17:19:05 INFO SparkContext: Running Spark version 1.6.3
18/12/19 17:19:05 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/12/19 17:19:06 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
	at tmp_naive_bayes$.main(tmp_naive_bayes.scala:17)
	at tmp_naive_bayes.main(tmp_naive_bayes.scala)
18/12/19 17:19:06 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
	at tmp_naive_bayes$.main(tmp_naive_bayes.scala:17)
	at tmp_naive_bayes.main(tmp_naive_bayes.scala)

从提示中可以看出找不到程序运行的master,此时需要配置环境变量。
传递给spark的master url可以有如下几种:

local 本地单线程
local[K] 本地多线程(指定K个内核)
local[*] 本地多线程(指定所有可用内核)
spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口。
mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
yarn-cluster集群模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。

posted @ 2018-12-19 17:26  因为专注。所以专业  阅读(854)  评论(0编辑  收藏  举报