2019年6月20日
广播变量与累加器
摘要： 广播变量与累加器 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是 阅读全文
posted @ 2019-06-20 15:27 任重而道远的小蜗牛 阅读(920) 评论(0) 推荐(0) 编辑