摘要: 要理解LiveListenerBus,可以先看下面几个问题 如果我们要监听Spark执行任务过程中的Job、stage、task 等事件的开始结束,我们该如何做 我们只要实现一个实现SparkListenerInterface 接口的监听器Listerner 1 private[spark] tra 阅读全文
posted @ 2022-01-09 14:40 白羊座怪蜀黍 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 本文还是按照提问式学习方式来一起学习AppStatusStore这个类 AppStatusStore的作用是什么? AppStatusStores是用来存储Application的状态数据,Spark Web UI及REST API需要的数据都取自它。之前在写度量系统时 AppStatusStore 阅读全文
posted @ 2022-01-09 14:31 白羊座怪蜀黍 阅读(323) 评论(0) 推荐(0) 编辑