2020年7月2日
spark算子介绍
摘要： spark底层的通信框架： spark作为分布式的计算框架，多个服务器节点进行相互通信。 spark在最初的时候使用akka的内部通信部件。在spark1.3年代为了接近类似shuffle这样的传输问题。引入了netty通信框架。从1.6配置使用akka或者netty。spark2.0开始完全抛弃了 阅读全文
posted @ 2020-07-02 18:03 hulifang 阅读(578) 评论(0) 推荐(0) 编辑