Spark安装问题:ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException
ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException
问题背景:
Java版本:1.8.0.291
Spark版本:spark-3.2.0-bin-hadoop3.2
Windows操作系统64位
Spark初次安装
问题描述:
配置完Java环境和Spark路径之后,在cmd中执行Spark-shell时,出现如下错误
ERROR SparkContext: Error initializing SparkContext.
java.lang.reflect.InvocationTargetException
.....
Caused by: java.net.URISyntaxException: Illegal character in path at index 32: spark://LAPTOP-US4D0J27:64591/C:\classes
at java.net.URI$Parser.fail(URI.java:2845)
at java.net.URI$Parser.checkChars(URI.java:3018)
at java.net.URI$Parser.parseHierarchical(URI.java:3102)
at java.net.URI$Parser.parse(URI.java:3050)
at java.net.URI.<init>(URI.java:588)
at org.apache.spark.repl.ExecutorClassLoader.<init>(ExecutorClassLoader.scala:57)
... 70 more
问题解决
从控制台打印出的bug来看,貌似是启动时执行的java文件中有非法字符,导致启动失败,反复寻找,没能找到他启动的哪一个java文件出现错误,
尝试降低版本,使用spark-3.1.2-bin-hadoop3.2后成功启动
可能是高版本配置发生了变化,了解不深入,0.0