今日学习Spark中的广播变量:
使用场景:本地集合对象和分布式集合对象(RDD)进行关联的时候,需要将本地集合对象封装为广播变量
可以节省:
1.网络IO的次数
2.Eexcutor的内存占用
使用方法:
【推荐】还在用 ECharts 开发大屏?试试这款永久免费的开源 BI 工具!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步