2020 年 5月 8 日随笔档案 - 清浊

2020年5月8日

摘要： package cn.spark.study.core; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD 阅读全文

posted @ 2020-05-08 13:30 清浊阅读(293) 评论(0) 推荐(0) 编辑

Spark-共享变量工作原理

摘要： Spark一个非常重要的特性就是共享变量。默认情况下，如果在一个算子的函数中使用到了某个外部的变量，那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量，那么这种方式是做不到的。 Spark为此提供了两种共享变量，一种是Broadc 阅读全文

posted @ 2020-05-08 12:49 清浊阅读(332) 评论(0) 推荐(0) 编辑