2020年3月29日
Spark共享变量---广播变量
摘要： 前提： 在spark环境下，当我们传递一个操作（例如：map,reduce）的函数到远程多个节点上进行运行时，各个节点都需要使用到该函数中的变量。如果变量比较大，如何下发这些变量呢？如果我们使用下面的方式，进行数据下发： 即将变量从Driver下发到每一个执行的task中。 例如：50个execut 阅读全文
posted @ 2020-03-29 19:55 山上有风景 阅读(864) 评论(0) 推荐(0) 编辑