Docker部署GPU模型服务
Docker部署GPU模型服务
GPU 设置
Nvidia 开启GPU的持久模式
nvidia-smi -pm 1
添加docker 插件
# 不是ubuntu 18.04 这里要需要改
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu18.04/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
下载基础镜像 -- 也可以自己配置
docker pull renoyuan/gpu_base:latest
启动 gpu docker
docker run --gpus all -itd -p 8888:8899 --name zx_poc renoyuan/gpu_base:latest nvdia-smi
Docker 基础
基本结构
镜像仓库 ---> 有开源有公司的用于存放镜像
Docker 服务 ---> 镜像，容器管理工具
镜像---> 打包好的系统环境
容器---> 运行后的镜像实际运行的docker服务
ID --->镜像和容器都有uuid 很多时候使用ID更可靠
命令启动-常用命令
镜像拉取
镜像拉取 默认是从官方仓库拉取的
docker pull renoyuan/gpu_base:latest
镜像上传
#登录远程仓库
docker login # 如果镜像仓库不需要登录可以忽略
#标记要上传的镜像为本地镜像
docker tag 镜像ID renoyuan/gpu_base:latest
#将镜像上传到远程仓库
docker push renoyuan/gpu_base:latest
启动镜像
启动镜像 == 生成容器实例
顺序一定不能错
顺序一定不能错
顺序一定不能错
docker run [OPTIONS] IMAGE [COMMAND] [ARG...] # **顺序一定不能错** IMAGE 一定是在参数后面命令前面
docker run --gpus all -itd -p 8888:8899 --name zx_poc renoyuan/gpu_base:latest nvdia-smi
# 参数
-i: 交互式操作。
-t: 终端。
-d: 后台运行
-p 端口映射 宿主机：容器
-v 资源映射 宿主机目录:容器目录
--name：容器名字
renoyuan/gpu_base:latest 镜像。
nvdia-smi ：放在镜像名后的是命令
容器操作
进入容器
在使用 -d 参数时，容器启动后会进入后台。此时想要进入容器，可以通过以下指令进入：
docker attach <容器 ID>
docker exec <容器 ID>：推荐使用 docker exec 命令，因为此命令会退出容器终端，但不会导致容器的停止。
退出
exit
停止容器
docker stop uuid|name
启动容器
docker start uuid|name
docker restar uuid|name
删除容器|镜像
docker rm uuid 删除多个可以用空格隔开 -f：表示强制删除
文件传输
docker cp 文件路径 容器id:容器路径
docker cp 容器id:容器路径 文件路径
查询
docker ps -a # 查看容器
docker images # 查看镜像
容器打成镜像
docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]
sudo docker commit -a "renoyuan" -m "gpu_base" 8462b4eb4157 gpu_base:v0
Option 功能
-a 指定新镜像作者
-c 使用 Dockerfile 指令来创建镜像
-m 提交生成镜像的说明信息
-p 在 commit 时，将容器暂停
本地文件镜像导入导出
docker导入本地镜像
载入快照
cat gpu_base.tar.gz | docker import - gpu_base:v0(镜像名自己定义)
载入镜像
我们有了本地的镜像文件，在需要的时候可以使用docker load将本地保存的镜像再次导入docker中。
docker load --input gpu_base.tar | docker load < gpu_base.tar
docker导出本地镜像
导出镜像
docker save -o gpu_base.tar gpu_base
-o：指定保存的镜像的名字；gpu_base.tar：保存到本地的镜像名称；gpu_base：镜像名字，通过"docker images"查看
导出容器快照
这样将导出容器快照到本地文件。
docker export 1e560fca3906 > gpu_base.tar.gz
DOCKERFILE
说明
运行docker 运行脚本文件 带有一定规范可以不
编写dockerfile
# 指定Python环境
FROM docker pull nvidia/cuda:11.0.3-runtime-ubuntu18.04
# 拷贝Python依赖库requirements文件到当前目录下
ADD requirements.txt /
# 安装依赖库
RUN pip install -r /requirements.txt
# 拷贝所有文件到app目录下
ADD . /app
# 指定app为工作目录
WORKDIR /app
# 声明端口
EXPOSE 5000
# docker容器启动
CMD [ "python" , "app.py"]
docker build命令建立改项目镜像：
docker build -t python_gpu .
docker build -t zxpoc .
# Sending build context to Docker daemon 911.9MB 构建镜像中
其他
安装docker for ubuntu
一、安装docker
1、安装docker：sudo apt-get install -y docker.io
2、启动docker服务：systemctl start docker
3、设置开机启动：systemctl enable docker
4、查看docker状态：systemctl status docker
5、停止docker服务：systemctl stop docker
6、查看docker版本：docker version
二、非root用户运行docker
1、添加docker用户组：sudo groupadd docker
执行以上命令会提示已存在，原因是在安装docker时已自动创建。
2、将指定用户添加到用户组（username为你的用户名）：sudo gpasswd -a username docker
3、查看是否添加成功：cat /etc/group | grep ^docker
3、重启docker：sudo systemctl restart docker
5、更新用户组：newgrp docker
6、执行docker命令，比如：docker ps -a
