2019年7月30日
Spark-监控
摘要： 每一个spark-context都有个监控网址：http://<driver-node>:4040，若存在多个则端口号为4041、4042 默认监控只在运行时有效，若作业运行完仍需要监控，则开启spark.eventLog.enabled 如果应用日志存在，仍可构造监控UI： ./sbin/star 阅读全文
posted @ 2019-07-30 14:01 奔跑的汉尼拔 阅读(123) 评论(0) 推荐(0) 编辑
Spark-Standalone
摘要： 使用./sbin/start-master.sh，启动后，master将会打印出spark://HOST:PORT,可以用来连接workers 监控：默认为http://localhost:8080/ 启动worker连接到master：./sbin/start-slave.sh <master-s 阅读全文
posted @ 2019-07-30 13:54 奔跑的汉尼拔 阅读(216) 评论(0) 推荐(0) 编辑