spark standalone集群模式下Job运行出现ClassCastException异常的解决
在前一篇文章《Win7 下使用spark 对文件进行处理》中，搭建了一个win7的开发测试环境，生成了一个jar执行包，并能够成功的在本机以多线程方式调试及运行，但将这个包分发到linux spark集群上，以standalone方式运行时，却报如下异常：
18/05/22 17:13:22 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD
at java.io.ObjectStreamClass$FieldReflector.setObjFieldValues(ObjectStreamClass.java:2233)
at java.io.ObjectStreamClass.setObjFieldValues(ObjectStreamClass.java:1405)
at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2288)
at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2206)
at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2064)
at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1568)
at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2282)
at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2206)
at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2064)
at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1568)
at java.io.ObjectInputStream.readObject(ObjectInputStream.java:428)
at scala.collection.immutable.List$SerializationProxy.readObject(List.scala:479)
以下记录解决此问题的思路与过程。
部署环境及变量设置：
3台ubuntu虚拟机，已经配置好ssh免密登录《Linux系统中SSH安装及配置免密码登录》
master: 192.168.2.1 slave1: 192.168.2.2 slave2: 192.168.2.3
使用的是spark 2.2.1版本，spark在ubuntu上的standalone部署请参见Ubuntu18.04 下 Spark 2.4.3 standalone模式集群部署
/home/mytestzk/spark-2.2.1-bin-hadoop2.7
因为程序使用了redis作为存储，故安装了redis 最新的版本4.0.9
/home/mytestzk/redis-4.0.9
添加环境变量到/etc/profile
export SPARK_HOME=/home/mytestzk/spark-2.2.1-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin
因spark可以不依赖hdfs，故虽然也安装了hadoop，但此处可以先忽略，所以不需要启动hdfs，如果文件是保存在hdfs中，则需要先启动hdfs
修改redis的配置文件redis.conf如下参数：
bind 192.168.2.1 protected-mode no
修改spark的配置文件以使spark运行在standalone集群模式：
- spark-defaults.conf
spark.master spark://192.168.2.1:7077
- spark-env.sh
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_151 export SPARK_MASTER_HOST=master export SPARK_MASTER_PORT=7077 export SPARK_WORKER_MEMORY=2g
- slaves
slave1 slave2
Spark 以standalone集群方式运行及问题产生
首先启动redis
src/redis-server --protected-mode no
启动spark，执行spark-2.2.1-bin-hadoop2.7目录下命令，启动spark集群
src/start-all.sh
提交作业，将已经打好的jar包及测试文件上传到相应的目录后，然后提交spark程序如下，因为是一个完整的sprint boot包，在pom文件中已经指定了启动类，所以在运行spark-submit时不需要给出class参数
spark-submit --master spark://master:7077 --executor-memory 2g --total-executor-cores 2 /home/mytestzk/projects/myproject-1.0-SNAPSHOT.jar /mnt/WindowShare/holdings1.txt
运行异常如下所示：
问题解决：
经过上网搜索，有很多类似问题，有的意见是将spark-core_2.11的scope修改为provided，但验证后不起作用，后来发现在SPARK有一个类似jira： https://issues.apache.org/jira/browse/SPARK-19938，其中有一段comment：
因为程序在standalone集群下以交互模式是可以运行成功的，
注： 以交互方式在standalonoe集群上测试，首先是启动spark集群及redis server，然后在启动spark-shell时，需要指定master参数，完整命令如下： spark-shell --master spark://master:7077 --executor-memory 2g --total-executor-cores 2 --jars jedis-2.9.0.jar
如果启动spark shell时没有指定master地址，也可以正常启动spark shell和执行spark shell中的程序，其实是启动了spark的local模式，该模式仅在本机启动一个进程，和spark集群没有关系。
故可以排除代码的问题，那问题就很可能在使用spart-submit提交程序时，环境不一致导致的，因为我使用的打包插件是spring-boot-maven-plugin，jar包里是使用的classloader是springframework loader，根据上面jira里comment的描述（avoid loading with different classloaders)，很有可能问题就出在这里
<build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <scalaVersion>${scala.version}</scalaVersion> <args> <arg>-target:jvm-1.5</arg> </args> </configuration> </plugin> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> <executions> <execution> <goals> <goal>repackage</goal> </goals> <configuration> <!--<classifier>spring-boot</classifier>--> <mainClass>mytest.Import</mainClass> </configuration> </execution> </executions> </plugin> </plugins> </build>
修改方案1：修改pom文件，不使用sprint boot插件：
<build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.0</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <version>2.19</version> <configuration> <skip>true</skip> </configuration> </plugin> </plugins> </build>
这次打包出来的jar包只包含代码的class文件，不包含第3放的类库，因为这个spark程序需要使用的jedis-2.9.0.jar也没有包含到输出的jar包中，这个包只有10k不到，为了正确执行这个包，必须先把依赖的第3方库也上传到spark环境相应的目录中，在调用spark-submit时，需要通过参数--jars指定依赖包的路径，命令执行如下
spark-submit --class mytest.Import --jars /home/mytestzk/projects/jedis-2.9.0.jar --master spark://master:7077 --executor-memory 2g --total-executor-cores 2 /home/mytestzk/projects/myproject-1.0-SNAPSHOT.jar /mnt/WindowShare/holdings1.txt
执行成功，问题解决！
修改方案2：
进一步，对于上面方案，如果依赖的第3放包比较少，也还可以，命令参数不会太长，但如果要依赖很多包，那么在spark-submit的jars参数中就需要列出来所有的包，中间用逗号分隔，这样导致命令就比较长，很麻烦，那是否可以把所有需要依赖的第3放包放到一个专门的目录中呢，查看spark文档，答案是可以的，
修改spark的spark-default.conf，添加下面参数指定第3方库的目录，将依赖包jedis-2.9.0.jar拷贝到这个目录
spark.executor.extraClassPath=/home/mytestzk/projects/* spark.driver.extraClassPath=/home/mytestzk/projects/*
执行spark-submit命令如下
spark-submit --class mytest.Import --master spark://master:7077 --executor-memory 2g --total-executor-cores 2 /home/mytestzk/projects/myproject-1.0-SNAPSHOT.jar /mnt/WindowShare/holdings1.txt
执行成功，问题解决！
修改方案3：
上面2种方案，需要单独部署第3方依赖库到spark执行环境，部署升级都很麻烦，如果能将程序所有依赖的包都打在一起，这样部署升级都很方便，那好吧，再进一步，修改pom文件
<build> <sourceDirectory>src/main/scala</sourceDirectory> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> <configuration> <scalaVersion>${scala.version}</scalaVersion> <args> <arg>-target:jvm-1.5</arg> </args> </configuration> </plugin> <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>3.0.0</version> <configuration> <archive> <manifest> <mainClass>mytest.Import</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build>
使用maven-assembly-plugin插件，依赖的jar包会被解开并打入包中，而最开始使用的sprint-boot-maven-plugin插件，依赖的jar包是不会被解开的，使用这种方法，也不需要修改spark-defaults.conf文件了，重新打包并执行：
spark-submit --class mytest.Import --master spark://master:7077 --executor-memory 2g --total-executor-cores 2 /home/mytestzk/projects/myproject-1.0-SNAPSHOT-jar-with-dependencies.jar /mnt/WindowShare/holdings1.txt
执行成功，问题解决！
但是这种方案，把所有依赖库解包了，以class的形式和应用程序的class一起放在一个jar包，不像spring boot把依赖包以嵌入的jia包打在应用包里，那有没有办法，既可以使用spring boot的方式打包，又不会出现different classloader的问题呢，这个需要继续研究，但到目前为止，所出现的异常是解决了。
思考这次遇到的问题，其实是从一开始，是希望能够使用spint boot方式将所有依赖的库打包成一个fat jar，但又不希望依赖库被解包，如果开始是使用的maven assembly插件，就不会出现这个问题，也不会在这个问题上折腾了许久时间，但不折腾无收获，希望对遇到类似问题的朋友有帮助。
