什么是Spark(四)运算过程中的黑科技
摘要:
Spark在运算过程中提供了一套完整的机制用来提高效率。 1. 用于收集信息的Accumulator,自带增量,用于spark全局收集数据;共享数据; 2. 用于提高传输速率的broadcast机制;如果需要将已知大对象比如上万条的List,这些多大几十M甚至更大对象如果传统作为Map对象的方式下放 阅读全文
posted @ 2018-04-14 21:06 张叫兽的技术研究院 阅读(132) 评论(0) 推荐(0) 编辑