Spark安装问题:ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException

ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException

问题背景:

Java版本:1.8.0.291
Spark版本:spark-3.2.0-bin-hadoop3.2
Windows操作系统64位
Spark初次安装

问题描述:

配置完Java环境和Spark路径之后,在cmd中执行Spark-shell时,出现如下错误

ERROR SparkContext: Error initializing SparkContext.
java.lang.reflect.InvocationTargetException
.....
Caused by: java.net.URISyntaxException: Illegal character in path at index 32: spark://LAPTOP-US4D0J27:64591/C:\classes
        at java.net.URI$Parser.fail(URI.java:2845)
        at java.net.URI$Parser.checkChars(URI.java:3018)
        at java.net.URI$Parser.parseHierarchical(URI.java:3102)
        at java.net.URI$Parser.parse(URI.java:3050)
        at java.net.URI.<init>(URI.java:588)
        at org.apache.spark.repl.ExecutorClassLoader.<init>(ExecutorClassLoader.scala:57)
        ... 70 more

问题解决

从控制台打印出的bug来看,貌似是启动时执行的java文件中有非法字符,导致启动失败,反复寻找,没能找到他启动的哪一个java文件出现错误,
尝试降低版本,使用spark-3.1.2-bin-hadoop3.2后成功启动
可能是高版本配置发生了变化,了解不深入,0.0

posted @ 2021-10-21 10:14  codedogzlc  阅读(2956)  评论(1编辑  收藏  举报