离线环境安装lightgbm及总结

很多的金融科技项目都涉及到离线环境的部署,机器学习常用的最强算法之一lightgbm自然也需要离线部署到客户环境上去,要怎么安装呢?

搜了网上很多离线安装lightgbm的方法,都非常的麻烦,需要下载cmake,然后配置cmake的环境变量,还有需要装gmp, mpfr, mpc, gcc等一大堆,然后下载lightgbm的git版本。我试了好多次都没能成功,后来我想还是用先有网环境下载,再离线环境安装的方式,简单,干脆。试了一下,果然可以。记录如下:供大家参考,也供以后自己忘记时留个备忘录。

步骤很简单:

1、有网环境下载:pip3 download lightgbm

 

 2、上传至离线环境,准备配置文件 requirements.txt

scikit-learn==1.1.3
numpy==1.23.4
joblib==1.2.0
scipy==1.9.3
wheel==0.37.1
threadpoolctl==3.1.0
lightgbm==3.3.3

 

3、开始安装:

pip3 install --no-index --find-links=lightgbm -r requirements.txt

 

 

需要注意的是,1、离线环境的python版本和有网环境的python版本需保持一致,比如都是python3.8版本,如果一个是python3.8,一个是python3.9,那就不行啦。至于怎么切换python版本,就自行google,百度吧,不在本次讨论范围内。

2、离线环境注意选择用pip还是pip3,一是查看两者的python版本,pip -V 和pip3 -V,查看是python3.几的版本;二是查看pip list 和pip3 list下都已经安装了哪些包;以此来确定是用pip还是pip3


 

以上是单个包的离线安装方法,下面总结一下多个包的离线安装方法,思路也是先有网环境下载,拷贝至离线环境 ,离线安装。具体如下:

一、安装python环境miniconda

官网下载:https://repo.anaconda.com/miniconda/Miniconda3-py37_4.12.0-Linux-x86_64.sh

拷贝到linux指定目录下,执行 ./Miniconda3-py37_4.12.0-Linux-x86_64.sh 即可开始安装。

 

默认安装地址:/root/miniconda3

查看miniconda是否安装成功:conda -V

二、安装依赖包

2.1、导出依赖文件

pip install pipreqs

在项目的当前路径输入:  pipreqs ./ --encoding=utf-8

结果:会生成一个 requirements.txt文件

 

2.2、下载依赖包

pip download -r requirements.txt -d /data/pkgs

 

/data/pkgs:指定的安装包存放目录

 

2.3、安装依赖包

将下载好的依赖包拷贝到离线服务器环境上

pip install --no-index --find-links=/data/pkgs -r requirements.txt

 

三、上传代码,运行代码

 

posted @ 2022-11-04 00:44  wangpengcufe  阅读(1697)  评论(0编辑  收藏  举报