离线环境安装lightgbm及总结
很多的金融科技项目都涉及到离线环境的部署,机器学习常用的最强算法之一lightgbm自然也需要离线部署到客户环境上去,要怎么安装呢?
搜了网上很多离线安装lightgbm的方法,都非常的麻烦,需要下载cmake,然后配置cmake的环境变量,还有需要装gmp, mpfr, mpc, gcc等一大堆,然后下载lightgbm的git版本。我试了好多次都没能成功,后来我想还是用先有网环境下载,再离线环境安装的方式,简单,干脆。试了一下,果然可以。记录如下:供大家参考,也供以后自己忘记时留个备忘录。
步骤很简单:
1、有网环境下载:pip3 download lightgbm
2、上传至离线环境,准备配置文件 requirements.txt
scikit-learn==1.1.3
numpy==1.23.4
joblib==1.2.0
scipy==1.9.3
wheel==0.37.1
threadpoolctl==3.1.0
lightgbm==3.3.3
3、开始安装:
pip3 install --no-index --find-links=lightgbm -r requirements.txt
需要注意的是,1、离线环境的python版本和有网环境的python版本需保持一致,比如都是python3.8版本,如果一个是python3.8,一个是python3.9,那就不行啦。至于怎么切换python版本,就自行google,百度吧,不在本次讨论范围内。
2、离线环境注意选择用pip还是pip3,一是查看两者的python版本,pip -V 和pip3 -V,查看是python3.几的版本;二是查看pip list 和pip3 list下都已经安装了哪些包;以此来确定是用pip还是pip3
以上是单个包的离线安装方法,下面总结一下多个包的离线安装方法,思路也是先有网环境下载,拷贝至离线环境 ,离线安装。具体如下:
一、安装python环境miniconda
官网下载:https://repo.anaconda.com/miniconda/Miniconda3-py37_4.12.0-Linux-x86_64.sh
拷贝到linux指定目录下,执行 ./Miniconda3-py37_4.12.0-Linux-x86_64.sh 即可开始安装。
默认安装地址:/root/miniconda3
查看miniconda是否安装成功:conda -V
二、安装依赖包
2.1、导出依赖文件
pip install pipreqs
在项目的当前路径输入: pipreqs ./ --encoding=utf-8
结果:会生成一个 requirements.txt文件
2.2、下载依赖包
pip download -r requirements.txt -d /data/pkgs
/data/pkgs:指定的安装包存放目录
2.3、安装依赖包
将下载好的依赖包拷贝到离线服务器环境上
pip install --no-index --find-links=/data/pkgs -r requirements.txt
三、上传代码,运行代码
略