摘要: 在spark内部,rpc可以用来实现不同组件(Driver, executor,client)之间的远程交互。而在同一组件内,spark还有事件监听机制,如spark中各种指标的采集主要就是通过事件监听机制获取的。另外,本文也会spark中metrics的采集过程做一个简要分析。 1,spark事件 阅读全文
posted @ 2018-03-15 19:09 超级核弹头 阅读(1361) 评论(0) 推荐(0) 编辑