广播变量什么时候使用?

如果不使用广播变量,那么Executor端在使用driver端的数据(变量)时,会在每个task(任务)中生成driver端的变量,容易数据冗余,所以使用广播变量

如果数据量很大,就不要使用广播变量了,数据量中小型可以,数据量太大,容易使driver端负载太严重,毕竟广播变量是在driver端只有一个

posted @ 2020-09-19 16:58  Mrzxs  阅读(442)  评论(2编辑  收藏  举报