会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
子健儿
技术菜鸟成长中。。。
博客园
首页
新随笔
联系
订阅
管理
2015年12月3日
Spark共享变量
摘要: 共享变量通常情况下,当向Spark操作(如map,reduce)传递一个函数时,它会在一个远程集群节点上执行,它会使用函数中所有变量的副本。这些变量被复制到所有的机器上,远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的,支持读写的共享变量是低效的。尽管如此,Spark提供了两种有限...
阅读全文
posted @ 2015-12-03 13:05 子健儿
阅读(2390)
评论(0)
推荐(1)
编辑
公告