IDEA编写PySpark报错:UnsupportedFileSystemException: No FileSystem for scheme "E"

在Windows下编写PySpark,启动Spark时报错如下:

22/05/12 14:12:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "E"

检查发现:我在spark.jars参数中额外添加了一些需要的包,这些JAR包就在我的开发本地。但没有加上schema。修改为以下即可:

LIB_HOME = "file:///E:/xxx/xx-platform/xxx-bigdata/lib/xxx.jar"

mark下。

posted @ 2022-05-12 14:16  斜杠代码日记  阅读(261)  评论(0编辑  收藏  举报