IDEA编写PySpark报错:UnsupportedFileSystemException: No FileSystem for scheme "E"
在Windows下编写PySpark,启动Spark时报错如下:
22/05/12 14:12:46 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Exception in thread "main" org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "E"
检查发现:我在spark.jars参数中额外添加了一些需要的包,这些JAR包就在我的开发本地。但没有加上schema。修改为以下即可:
LIB_HOME = "file:///E:/xxx/xx-platform/xxx-bigdata/lib/xxx.jar"
mark下。
关注公众号大数据君!关注最新的大数据技术动态!