2019年1月9日
Spark2.3（四十）：如何使用java通过yarn api调度spark app，并根据appId监控任务，关闭任务，获取任务日志
摘要： 背景： 调研过OOZIE和AZKABA,这种都是只是使用spark-submit.sh来提交任务，任务提交上去之后获取不到ApplicationId，更无法跟踪spark application的任务状态，无法kill application，更无法获取application的日志信息。因此，为了实 阅读全文
posted @ 2019-01-09 22:20 cctext 阅读(14838) 评论(10) 推荐(0) 编辑