window环境运行spark-xgboost

在window 环境下使用spark - xgboost会出现一些问题,这里记录一下。

环境:window 10 + spark 2.4.1 + xgboost 9.0 + pycharm+ spark

由于在widows运行xgboost,是需要有一个dll文件的

 

上错误

java.io.FileNotFoundException: File /lib/xgboost4j.dll was not found inside JAR.

出现上述错误的原因主要是  lib目录下没有 xgboost4j.dll  这个文件 ,这个lib又是什么鬼,为了这个找了好多的lib,python、annconda、spark的环境下都有lib

最后发现,之前创建项目的时候添加了两个包,一个是py4j一个是pyspark,是从spark中拿过来用的

最终效果是这样

所以去spark中找到这个路径下看是否有dll文件,发现没有lib,找到存放jar包的文件

要有这两个文件才行,下载地址

这个文件用WRAR,我的打开发现没有xgboost.dll文件,

下载对应版本的xgboost4j,解压将lib中的dll文件复制到自己的文件里

 

 

 错误解决!!!!

posted @ 2021-05-14 11:51  Mr·Li程序员  阅读(379)  评论(0编辑  收藏  举报