Spark读取本地文件时报错:java.io.FileNotFountException:file doesn't exist
在确认文件存在的情况下,出现这个问题的原因是:在集群中运行的pyspark。例如使用命令bin/pyspark --master yarn启动pyspark
解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。
解决方式2:直接将数据文件上传到hdfs,达到数据共享。
posted on 2021-01-22 18:14 ExplorerMan 阅读(544) 评论(0) 编辑 收藏 举报