window环境运行spark-xgboost
在window 环境下使用spark - xgboost会出现一些问题,这里记录一下。
环境:window 10 + spark 2.4.1 + xgboost 9.0 + pycharm+ spark
由于在widows运行xgboost,是需要有一个dll文件的
上错误
java.io.FileNotFoundException: File /lib/xgboost4j.dll was not found inside JAR.
出现上述错误的原因主要是 lib目录下没有 xgboost4j.dll 这个文件 ,这个lib又是什么鬼,为了这个找了好多的lib,python、annconda、spark的环境下都有lib
最后发现,之前创建项目的时候添加了两个包,一个是py4j一个是pyspark,是从spark中拿过来用的
最终效果是这样
所以去spark中找到这个路径下看是否有dll文件,发现没有lib,找到存放jar包的文件
要有这两个文件才行,下载地址
这个文件用WRAR,我的打开发现没有xgboost.dll文件,
下载对应版本的xgboost4j,解压将lib中的dll文件复制到自己的文件里
错误解决!!!!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 因为Apifox不支持离线,我果断选择了Apipost!
· 通过 API 将Deepseek响应流式内容输出到前端