摘要: 概述 最近工作上忙死了……广播变量这一块其实早就看过了,一直没有贴出来。 本文基于Spark 1.0源码分析,主要探讨广播变量的初始化、创建、读取以及清除。 类关系 BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFacto 阅读全文
posted @ 2016-07-18 17:26 XGogo 阅读(664) 评论(0) 推荐(0) 编辑
摘要: We use Redis on Spark to cache our key-value pairs.This is the code: import com.redis.RedisClient val r = new RedisClient("192.168.1.101", 6379) val p 阅读全文
posted @ 2016-07-18 15:22 XGogo 阅读(821) 评论(0) 推荐(0) 编辑