摘要: 在Spark中很多地方都涉及网络通信,比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。在Spark 0.x.x与Spark 1.x.x版本中,组件间的消息通信主要借助于Akka,使用Akka可以轻松的构建强有力的高并发与分布式应用。但是Akka在Spark 2.0.0版本中被移除了,https://img2018.cnblogs.com/blog/816981/201810/816981-20181016145505263-870721231.jpg 阅读全文
posted @ 2018-11-05 18:57 泰山不老生 阅读(3076) 评论(0) 推荐(0) 编辑