2016年9月1日
spark中的Broadcast variables和Accumulator (广播变量和累加器)
摘要： 同事都被老板叫去开会了 ....... 已经开了两个小时了 GOD 广播变量 broadcast这个变量只能在drive 端修改，不能在executor 端修改不产生shuffle 的 优化，但是需要这个RDD 数据量较小累加器 accumulator在executo... 阅读全文
posted @ 2016-09-01 16:37 yuerspring 阅读(195) 评论(0) 推荐(0) 编辑