2022年4月11日
Spark 广播变量&累加器
摘要： Spark 为了达到高并发，高吞吐数据处理能力除了封装RDD外，也封装了另外两个数据对象 广播变量：分布式共享只读变量 累加器：分布式共享只写变量 1、广播变量 1.1、广播变量存在的意义 如果我们需要在分布式计算里面分发大对象，例如：集合，字典或者黑白名单等，这个都会有 Driver 端进行分发， 阅读全文
posted @ 2022-04-11 07:09 晓枫的春天 阅读(108) 评论(0) 推荐(0) 编辑