2019年12月20日
Spark广播变量
摘要： 广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，甚至是机器学习算法中的一个很大的特征向量，广播变量用起来都很顺手。 在多个并行操作中使用同一个变量，但是 Spark会为每个任务分别发送。 阅读全文
posted @ 2019-12-20 15:15 Lucas_zhao 阅读(779) 评论(0) 推荐(0) 编辑