spark 部署问题

spark的web UI 端口设置：spark-env.sh 中设置SPARK_MASTER_WEBUI_PORT 为自己想设置的端口号。

其他worker 的web UI 端口默认：8081

master 的默认监听端口：7077

spark 运行在yarn 集群上，在提交job 时要注明--master yarn-cluster

posted @ 2014-11-25 22:56  evashi  阅读(111)  评论(0)  编辑  收藏  举报