Fork me on GitHub
2019年4月10日
Spark |03 SparkCore |序列化| 依赖关系| 持久化| 分区器| 数据读取保存| 广播变量和累加器
摘要： Spark中三大数据结构： RDD； 广播变量: 分布式只读共享变量； 累加器：分布式只写共享变量； 线程和进程之间 1. RDD 序列化 1) 闭包检查 从计算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executor 端执行。那么在 scala 的函数式编程中 阅读全文
posted @ 2019-04-10 08:45 kris12 阅读(759) 评论(0) 推荐(0) 编辑
levels of contents