2018年9月5日
Spark共享变量和自定义分区
摘要： 1.共享变量分两种：广播变量和累加器，实现任务间变量共享访问； 2.广播变量： 将变量以缓存并只读的方式分发至每个机器节点上。类似于hadoop中的分布式缓存。 特点：a.只读；b.在每个节点中缓存； 创建方式：调用sc.broadcast()创建广播变量；获取广播变量：bc.value 3.累加器 阅读全文
posted @ 2018-09-05 13:26 Coding_Now 阅读(542) 评论(0) 推荐(0) 编辑