2019年1月8日
Spark2.2(三十九)：如何根据appName监控spark任务,当任务不存在则启动（任务存在当超过多久没有活动状态则kill，等待下次启动）
摘要： 业务需求 实现一个根据spark任务的appName来监控任务是否存在，及任务是否卡死的监控。 1）给定一个appName，根据appName从yarn application -list中验证任务是否存在，不存在则调用spark-submit.sh脚本来启动任务； 2）如果任务存在yarn app 阅读全文
posted @ 2019-01-08 22:52 cctext 阅读(2138) 评论(0) 推荐(1) 编辑