2019年3月28日
Spark2.3（四十三）：Spark Broadcast总结
摘要： 为什么要使用广播(broadcast)变量？ Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。进一步解释： 如果executor端用到了Driver的变量，如果不使用广播变量在Executor有多少task就有多少Dr 阅读全文
posted @ 2019-03-28 10:00 cctext 阅读(23432) 评论(0) 推荐(2) 编辑