2015年12月3日
Spark共享变量
摘要： 共享变量通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。尽管如此，Spark提供了两种有限... 阅读全文
posted @ 2015-12-03 13:05 子健儿 阅读(2398) 评论(0) 推荐(1) 编辑