RDD 序列化

问题引入

想看一个需求：定义一个用户类，有一个name 属性和toSting方法：

class User {
  var name: String = _
  override def toString: String = s"User{$name}"
}

现在要声明两个对象并给name 属性赋值，然后将两个实例放在一个rdd里，进行采集打印：

def main(args: Array[String]): Unit = {
   //获取 SparkConf 并设置应用名称*本地模式
   val conf: SparkConf = new SparkConf().setAppName("Spark").setMaster("local[*]")
   //获取 Spark 上下文对象
   val sc: SparkContext = new SparkContext(conf)
   var lhc: User = new User
   var yilin: User = new User
   lhc.name = "令狐冲"
   yilin.name = "依琳"
   val userRDD: RDD[User] = sc.makeRDD(List(lhc, yilin))
   userRDD.foreach(println)
   //释放 Spark 上下文对象
   sc.stop
 }

看逻辑没什么问题：但是在运行的时候报错了

2022-05-26 20:35:25      ERROR (org.apache.spark.util.Utils:logError) - Exception encountered
java.io.NotSerializableException: org.wdh01.spark04.User
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1184)
    at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:1378)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1174)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.defaultWriteObject(ObjectOutputStream.java:441)
    at org.apache.spark.rdd.ParallelCollectionPartition.$anonfun$writeObject$1(ParallelCollectionRDD.scala:59)

说是没有进行序列化

问题出在哪里呢？在 spark 程序初始化操作发生在Driver端，具体算子执行在Executor端执行，如果在Executor执行的时候，要访问Driver端初始化的数据，那么就涉及跨进程跨节点通信所以要求传递的数据必须是可序列化的

如何进行序列化

方案1、混入 Serializable

class User extends Serializable {
  var name: String = _
  override def toString: String = s"User{$name}"
}

这样就可以解决了，但是需要注意，这里的 Serializable 其实是继承了java 的 Serializable

package scala
 
/**
 * Classes extending this trait are serializable across platforms (Java, .NET).
 */
trait Serializable extends Any with java.io.Serializable