会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
macy_zhang
博客园
首页
新随笔
联系
订阅
管理
2018年12月14日
spark中的共享变量(广播变量和累加器)
摘要: 广播变量用来高效地分发较大的对象,累加器用来对信息进行聚合。 广播变量: 广播变量可以让程序高效地向所有工作节点发送一个较大的只读值,以供一个或多个spark操作使用,在机器学习中非常有用。广播变量是类型为spark.broadcast.Broadcast[T]的一个对象,其中存放着类型为T的值。它
阅读全文
posted @ 2018-12-14 16:16 macy_zhang
阅读(994)
评论(0)
推荐(0)
编辑
公告