2018年8月21日
BlockTransferService 实现
摘要： spark的block管理是通过BlockTransferService定义的方法从远端获取block、将block存储到远程节点。shuffleclient生成过程就会引入blockTransferService。 类的定义如下： 定义了目标节点的主机名和端口号，还定义了批量获取，批量保存，单个b 阅读全文
posted @ 2018-08-21 10:55 天添 阅读(726) 评论(0) 推荐(0) 编辑