Spark性能调优:广播大变量broadcast
摘要:
Spark性能调优:广播大变量broadcast === 原文链接: 概要 有时在开发过程中,会遇到需要在算子函数中使用外部变量的场景(尤其是大变量,比如100M以上的大集合),那么此时就应该使用Spark的广播(Broadcast)功能来提升性能。 在算子函数中使用到外部变量时,默认情况下,Spa 阅读全文
posted @ 2019-08-26 11:34 -小鱼- 阅读(4701) 评论(0) 推荐(0) 编辑