2018年6月12日
spark序列化及MapOutputTracker解析
摘要： 本文主要打算对spark内部的序列化机制以及在shuffle map中起衔接作用的MapOutputTracker做一下剖析。主要涉及具体实现原理以及宏观设计的一些思路。 1，spark序列化 任何一个分布式框架，序列化都是其必不可少并且很重要一部分，spark也不例外。spark设计序列化的主要类 阅读全文
posted @ 2018-06-12 11:35 超级核弹头 阅读(727) 评论(0) 推荐(0) 编辑