02 2016 档案

Spark——共享变量
摘要：Spark执行不少操作时都依赖于 闭包函数 的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中各worker节点任务时就会进行一系列操作： 1、驱动程序使将闭包中使用变量封装成对象，驱动程序序列化对象，传给worker节点任务； 2、worker节点任务接收到对象，执行闭包 阅读全文
posted @ 2016-02-27 20:22 AiFly 阅读(1867) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示