5 pyspark学习---Broadcast&Accumulator&sparkConf
摘要:
1 对于并行处理,Apache Spark使用共享变量。当驱动程序将任务发送给集群上的执行者时,集群中的每个节点上都有一个共享变量的副本,这样就可以用于执行任务了。 2 两种支持得类型 (1)Broadcast 广播变量保存所有节点数据备份。该变量缓存在所有机器上,而不是在有任务的机器上发送。下面的 阅读全文
posted @ 2018-04-03 10:45 L的存在 阅读(2693) 评论(0) 推荐(1) 编辑