摘要:
要理解LiveListenerBus,可以先看下面几个问题 如果我们要监听Spark执行任务过程中的Job、stage、task 等事件的开始结束,我们该如何做 我们只要实现一个实现SparkListenerInterface 接口的监听器Listerner 1 private[spark] tra 阅读全文
摘要:
本文还是按照提问式学习方式来一起学习AppStatusStore这个类 AppStatusStore的作用是什么? AppStatusStores是用来存储Application的状态数据,Spark Web UI及REST API需要的数据都取自它。之前在写度量系统时 AppStatusStore 阅读全文