Spark 使用 yarn 和 主节点提交

1. 使用yarn 提交 , 在 自己定义的yarn 日志服务器上面能看到任务记录 .

spark-submit --master yarn --class com.Spark_HDFS  ./SXC-1.0-SNAPSHOT.jar

 

 

2.使用 Spark的 自己的端口提交

spark-submit --master spark://node1:7077 --class com.Spark_HDFS ./SXC-1.0-SNAPSHOT.jar

需要配置 Spark/conf/spark-default.conf

spark.master                     spark://master:7077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://node1:8020/directory
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              2g
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

 

 

 在这里会有记录 , 一般来说 ,采用什么方式提交 , 会记录到那里 ,这是spark/conf/spark-default.conf 里的设置 , 设置好了才会有记录j