广播变量使用注意事项

变量一旦被定义成广播变量,那么这个变量只能读,不能被修改

RDD是不能被广播出去的,因为RDD是不存储数据的,可以将rdd的结果广播出去

广播变量只能在driver端定义,不能在executor端定义

在Driver端可以修改广播变量的值,在Executor端无法修改广播变量的值。

如果executor端用到了Driver的变量,如果不使用广播变量在Executor有多少task就有多少Driver端的变量副本。

如果Executor端用到了Driver的变量,如果使用广播变量在每个Executor中只有一份Driver端的变量副本。

posted @ 2020-04-16 15:40  hulifang  阅读(744)  评论(0编辑  收藏  举报