使用Docker编译PaddlePaddle
在ubuntu中使用Docker编译PaddlePaddle
要在ubuntu中使用docker编译paddle框架,首先分为以下几个步骤:
- 安装docker环境
- 拉取paddle的docker镜像
- 开启镜像并配置
- 验证编译安装成功
1、Docker环境安装
使用Docker编译¶
Docker是一个开源的应用容器引擎。使用Docker,既可以将PaddlePaddle的安装&使用与系统环境隔离,也可以与主机共享GPU、网络等资源
使用Docker编译PaddlePaddle,您需要:
- 在本地主机上安装Docker
- 如需在Linux开启GPU支持,请安装nvidia-docker
可参考:
2、拉取Paddle的docker镜像
对于国内用户,因为网络问题下载docker比较慢时,可使用百度提供的镜像:
-
CPU版的PaddlePaddle:
docker pull registry.baidubce.com/paddlepaddle/paddle:latest-dev
-
GPU版的PaddlePaddle:
nvidia-docker pull registry.baidubce.com/paddlepaddle/paddle:latest-gpu-cuda10.2-cudnn7-dev
3、docker编译配置
(1) 进入docker
先要开始启动docker,然后再使用attach进入环境。
sudo docker start paddle-test
sudo docker ps
sudo docker attach paddle-test
(2) 源码下载及环境配置
mkdir source
git clone git@github.com:PaddlePaddle/Paddle.git
进入下列文件目录
cd Paddle
(非必选)可根据需要,切换到较稳定版本下进行编译:¶
git checkout [分支名]
例如:
git checkout release/2.3
注意:python3.6、python3.7版本从release/1.2分支开始支持, python3.8版本从release/1.8分支开始支持, python3.9版本从release/2.1分支开始支持, python3.10版本从release/2.3分支开始支持
安装依赖
pip3 install protobuf
apt install patchelf
(3) 依赖项
由于在paddle源码编译过程中,需要安装相应的依赖库,这些依赖库是通过github仓库拉取源码的形式下载下来的。
若docker环境下能够网络通畅的使用github,可跳过此项。
若网络情况不稳定,那么这里建议参考下面,分别将这些仓库手动clone下来,同时要注意当前的目录。
- extern_gflags https://github.com/gflags/gflags.git
- extern_cryptopp https://github.com/weidai11/cryptopp.git
- extern_mkldnn https://github.com/oneapi-src/oneDNN
- extern_warpctc git clone https://github.com/espnet/warp-ctc.git
- extern_protobuf https://github.com/protocolbuffers/protobuf.git
git clone https://github.com/protocolbuffers/protobuf.git
git clone https://github.com/weidai11/cryptopp.git
git clone https://github.com/dmlc/dlpack.git
git clone https://github.com/oneapi-src/oneDNN.git
git clone https://github.com/baidu-research/warp-ctc.git
git clone https://github.com/gflags/gflags.git
git clone https://github.com/wjakob/clang-cindex-python3
(4) 执行cmake
执行cmake,根据是否使用GPU有以下两种方式,可自行结合需要修改DWITH_GPU=ON或OFF。
cmake .. -DPY_VERSION=3.7 -DWITH_GPU=OFF
cmake .. -DPY_VERSION=3.7 -DWITH_GPU=ON
(5) 执行编译
开始执行编译,-j后面对应的是线程数,可自定义。当然最好是用(nproc),会根据系统参数自动设置。
这里的流程是:
- 1、先执行build源码到target。
- 2、copying 源码到build目录下
- 3、creating、adding
最后,看到[100%]Built target paddle_python就说明已经编译完成了。
4、安装编译好的包
编译好paddle源码后,我们还需要将生成的whl安装到docker中的python环境下。
根据上面的信息和官方文档的提示,可以知道,生成whl文件在下面这个目录。
cd /paddle/build/python/dist
pip3 install paddlepaddle-0.0.0-cp37-cp37m-linxu_x86_64.whl
由于在clone paddle的源码时,使用的是develop分支,因此对应的版本号为0.0.0。
如果需要稳定版本,可在源码下载的时候,选择相应的分支。
5、验证安装成功
将paddle的whl安装到python3环境后,可以在docker中进行相应的验证是否可用。
python3
import paddle
paddle.utils.run_check()
至此,所有步骤完成,paddle以源码形式编译并安装完成,enjoy your work~。
6、参考材料
[1].https://www.paddlepaddle.org.cn/documentation/docs/zh/install/compile/linux-compile.html