广播变量什么时候使用?

如果不使用广播变量,那么Executor端在使用driver端的数据(变量)时,会在每个task(任务)中生成driver端的变量,容易数据冗余,所以使用广播变量

如果数据量很大,就不要使用广播变量了,数据量中小型可以,数据量太大,容易使driver端负载太严重,毕竟广播变量是在driver端只有一个

posted @   Mrzxs  阅读(444)  评论(2编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up dark_mode palette
选择主题