2019年3月20日
【Spark调优】Broadcast广播变量
摘要： 【业务场景】 在Spark的统计开发过程中，肯定会遇到类似小维表join大业务表的场景，或者需要在算子函数中使用外部变量的场景（尤其是大变量，比如100M以上的大集合），那么此时应该使用Spark的广播（Broadcast）功能来提升性能。 【原理说明】 在算子函数中使用到外部变量或两表join时， 阅读全文
posted @ 2019-03-20 23:40 wwcom123 阅读(1198) 评论(0) 推荐(0) 编辑