2018年12月14日
spark中的共享变量（广播变量和累加器）
摘要： 广播变量用来高效地分发较大的对象，累加器用来对信息进行聚合。 广播变量： 广播变量可以让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个spark操作使用，在机器学习中非常有用。广播变量是类型为spark.broadcast.Broadcast[T]的一个对象，其中存放着类型为T的值。它 阅读全文
posted @ 2018-12-14 16:16 macy_zhang 阅读(994) 评论(0) 推荐(0) 编辑