window环境运行spark-xgboost
在window 环境下使用spark - xgboost会出现一些问题,这里记录一下。
环境:window 10 + spark 2.4.1 + xgboost 9.0 + pycharm+ spark
由于在widows运行xgboost,是需要有一个dll文件的
上错误
java.io.FileNotFoundException: File /lib/xgboost4j.dll was not found inside JAR.
出现上述错误的原因主要是 lib目录下没有 xgboost4j.dll 这个文件 ,这个lib又是什么鬼,为了这个找了好多的lib,python、annconda、spark的环境下都有lib
最后发现,之前创建项目的时候添加了两个包,一个是py4j一个是pyspark,是从spark中拿过来用的
最终效果是这样
所以去spark中找到这个路径下看是否有dll文件,发现没有lib,找到存放jar包的文件
要有这两个文件才行,下载地址
这个文件用WRAR,我的打开发现没有xgboost.dll文件,
下载对应版本的xgboost4j,解压将lib中的dll文件复制到自己的文件里
错误解决!!!!