Spark ClassNotFoundException $$anonfun$2
Spark ClassNotFoundException $$anonfun$2
1. 软件环境：
| 软件 | 版本 |
|---|---|
| Spark | 原生1.6.0 |
| Hadoop | 原生2.6.5 |
2. 应用场景&问题描述
运行任务的过程中，指定主类，比如a.b.c.Test， 那么主类是可以被调用的。比如已经运行到a.b.c.Test中的代码，但是接着会报诸如：ClassNotFound : a.b.c.Test$$anonfun$1这样的异常，如下所示：
而通过把a.b.c.Test所在的jar包解压，可以看到其中是有诸如a.b.c.Test$$anonfun$1.class 这样的文件的。通过反编译软件可以看到这个类是a.b.c.Test中的一个函数，这样就很奇诡了。主类Test找得到，但是和其同一个文件的函数的类反而找不到。
3. 解决办法
由于是报类找不到，而且定位是在Executor执行的时候，所以，尝试把jar包加入executor的Classpath中，在代码中添加：
sparkConf.set("spark.executor.extraClassPath","path/to/a.b.c.Test/.jar");
而且，其实已经设置了spark.jars：
sparkConf.set("spark.jars","hdfs://path/to/a.b.c.Test/.jar")
