测试必会 | 通过容器化 Python Web 应用掌握 Docker 容器核心技能
本篇文章将通过一个非常典型的 Python Web 应用作为案例,讲解 Docker
容器使用的主要场景。包括构建镜像、启动镜像、分享镜像、在镜像中操作、在镜像中挂载宿主机目录、对容器使用的资源进行限制、管理容器的状态和如何保持容器始终运行。熟悉了这些操作,你也就基本上摸清了
Docker 容器的核心功能。
前期准备:需要一台已经安装了 Docker 的 Linux 虚拟机。
构建一个镜像
首先我们准备一个应用。新建一个本文文件,起名叫 app.py,里面写入下面的内容,实现一个简单的 web 应用:
from flask import Flask
import socket
import os
app = Flask(\_\_name\_\_)
@app.route('/')
def hello():
html = "<h3>Hello {name}!</h3>" \
"<b>Hostname:</b> {hostname}<br/>"
return html.format(name=os.getenv("NAME", "world"), hostname=socket.gethostname())
if \_\_name\_\_ == "\_\_main\_\_":
app.run(host='0.0.0.0', port=80)
在这段代码中,使用 Flask 框架启动了一个 Web 服务器,而它唯一的功能是:如果当前环境中有 “NAME” 这个环境变量,就把它打印在 “Hello”
后,否则就打印 “Hello world”,最后再打印出当前环境的 hostname。
这个应用的依赖文件 requirements.txt 存在于与其同级的目录中,内容是:
cat requirements.txt
Flask
将这样一个应用在容器中跑起来,需要制作一个容器镜像。Docker 提供了一种 Dockerfile
文件,来描述镜像的构建过程。下面的代码存在于与上面的应用(app.py)同级目录下的 Dockerfile 中。
\# 使用官方提供的 python:3.6-alpine 镜像,作为我们这个镜像的基础镜像,这样我们的镜像就有了 python3.6 环境
FROM python:3.6-alpine
\# 将工作目录切换为 /app
WORKDIR /app
\# 将当前目录下的所有内容复制到镜像的 /app 下
ADD . /app
\# 使用 pip 命令安装这个应用所需要的依赖,RUN 指令就是在容器里执行 shell 命令的意思。
RUN pip install --trusted-host pypi.python.org -r requirements.txt
\# 允许外界访问容器的 80 端口
EXPOSE 80
\# 设置环境变量
ENV NAME World
\# 设置容器进程为:python app.py,即:这个 Python 应用的启动命令
CMD \["python", "app.py"\]
这个 Dockerfile 文件的内容,描述了我们所要构建的 Docker 镜像。Dockerfile 中每一行都是按顺序处理的。这个 Dockerfile
中用到的指令的具体含义已经在以注释的方式写在了 Dockerfile 中。
需要再详细介绍一下 CMD 指令。CMD 指定了python app.py为这个容器启动后执行的进程。因为 Dockerfile 中使用 WORKDIR
切换了容器的工作路径是 /app,所以 app.py 的实际路径是 /app/app.py。CMD [“python”, “app.py”] 等价于
“docker run python app.py”。
另外,在使用 Dockerfile 时,还有一种 ENTRYPOINT 指令。它和 CMD 都是 Docker
容器进程启动所必需的参数,完整执行格式是:“ENTRYPOINT CMD”。
默认情况下,Docker 会为你提供一个隐含的 ENTRYPOINT,即:/bin/sh -c。所以,在不指定 ENTRYPOINT
时,比如在我们这个例子里,实际上运行在容器里的完整进程是:/bin/sh -c “python app.py”,即 CMD 的内容就是 ENTRYPOINT
的参数。正是基于这样的原理,Docker 容器的启动进程为实际为 ENTRYPOINT,而不是 CMD。
需要注意的是,Dockerfile 里的指令并不都是只在容器内部的操作。就比如 ADD,它指的是把当前目录(即 Dockerfile
所在的目录)里的文件,复制到指定容器内的目录当中。
根据前面的描述,现在我们的整个应用的目录结构应该如下这样:
ls
Dockerfile app.py requirements.txt
现在我们执行下面的指令构建镜像:
docker build -t helloworld .
其中,-t 的作用是给这个镜像加一个 Tag,即:起一个好听的名字。docker build 会自动加载当前目录下的 Dockerfile
文件,然后按照顺序执行 Dockerfile 文件中的指令。
Dockerfile 中的每个指令执行后,都会生成一个对应的镜像层。
上面的命令执行完成后,就形成了一个镜像。可以通过下面的指令查看:
docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
helloworld latest 5bacb9617bcf 7 minutes ago 89.8MB
还可以通过 docker inspect helloworld:latest
查看镜像的元信息。
运行镜像
有了镜像,就可以通过下面的指令来运行容器了。
docker run -p 5000:80 helloworld
在这一句命令中,镜像名 helloworld 后面,什么都不用写,因为在 Dockerfile 中已经指定了 CMD。否则,我就得把进程的启动命令加在后面:
docker run -p 5000:80 helloworld python app.py
如果上面的指令执行后,能够输出下面的内容,则表示容器启动成功了:
\* Serving Flask app "app" (lazy loading)
\* Environment: production
WARNING: Do not use the development server in a production environment.
Use a production WSGI server instead.
\* Debug mode: off
\* Running on http://0.0.0.0:80/ (Press CTRL+C to quit)
可以通过运行docker ps指令,查看运行中的容器。
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a242ecaf6cf6 helloworld "python app.py" 3 minutes ago Up 3 minutes 0.0.0.0:5000->80/tcp dazzling_khayyam
从输出中可以看到,容器的 ID,容器是基于哪个镜像的启动的,容器中的进程,容器的启动时间及端口映射情况。
从现在看,容器已经正确启动,我们使用 curl 命令通过宿主机的 IP 和端口号,来访问容器中的 web 应用:
curl localhost:5000
<h3>Hello World!</h3><b>Hostname:</b> a242ecaf6cf6<br/>
还有一种访问容器中应用的方法是使用容器的 IP 和应用端口号,应用的端口号我们已经在 Dockerfile 中指定为 80,那么容器的 IP 如何获取呢?
依然是使用docker inspect CONTAINER ID命令查看容器的元数据。容器的 IP 地址就在其中。
分享镜像
大家一定用过代码分享平台 GitHub,在 Docker 世界中分享镜像的平台是 Docker Hub,它 " 学名 "
叫镜像仓库(Repository)。
为了能够上传镜像,首先需要注册一个 Docker Hub 账号,然后使用 docker login 命令登录:
$ docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: liuchunming
Password:
Login Succeeded
在 push 到 Docker Hub 之前,需要先给镜像指定一个版本号:
docker tag helloworld liuchunming/helloworld:v1
liuchunming 是我在 Docker Hub 上的账户名。v1 是我给这个镜像本次起的版本号。
接着执行下面的指令就可以镜像 push 到 Docker Hub 上了:
docker push liuchunming/helloworld:v1
一旦提交到 Docker Hub 上,其他人就可以通过 docker pull liuchunming/helloworld:v1
指令将镜像下载下来了。
在企业内部,也可以搭建一个跟 Docker Hub 类似的镜像存储系统。感兴趣的话,可以查看 VMware 的 Harbor 项目。
进入正在运行的容器中玩玩
运行 web 服务的容器,通常是以后台进程启动的。就是在docker run
指令后面加上-d 选项。比如以后台方式运行上面的 web 容器:
docker run -d -p 5000:80 helloworld
如果你想进入到一个正在运行的容器做一些操作,可以通过docker exec
指令。我们需要先通过docker ps
命令查看容器的 ID,
然后执行下面的命令。
docker exec -it 1695ed10e2cb75e /bin/sh
-it 选项指的是连接到容器后,启动一个 terminal(终端) 并开启 input(输入) 功能。/bin/sh
表示进入到容器后执行的命令。
现在我们就可以在终端上进行一些操作了,比如在容器中新建一个 readme.md 文件:
/app # ps
PID USER TIME COMMAND
1 root 0:00 python app.py
24 root 0:00 /bin/sh
29 root 0:00 ps
/app# touch readme.md
/app# exit
我们还可以将正在运行的容器,commit 成新的镜像。
docker commit 1695ed10e2cb75e liuchunming033/helloworld:v2
docker exec 的实现原理,其实是利用了容器的三大核心技术之一的 Namespace。一个进程可以选择加入到某个进程(运行中的容器)已有的
Namespace 当中,从而达到 “进入” 这个进程所在容器的目的。更细节的原理这里不在细究。
还有一种进入容器的方法是使用docker attach container_id
,不过这种方法不建议使用,因为它有两个明显的缺点:
-
当多个窗口同时 attach 到同一个容器时,所有的窗口都会同步的显示,假如其中的一个窗口发生阻塞时,其它的窗口也会阻塞。
-
attach 必须是登陆到一个已经运行的容器里,如果从这个容器中 exit 退出的话,会导致容器停止。
容器与宿主机之间如何共享文件
容器技术使用了 rootfs 机制和 Mount
Namespace,构建出了一个同宿主机完全隔离开的文件系统环境。但是我们使用过程中经常会遇到这样两个问题:
-
容器里进程新建的文件,怎么才能让宿主机获取到?
-
宿主机上的文件和目录,怎么才能让容器里的进程访问到?
这正是 Docker Volume 要解决的问题:Volume 机制,允许你将宿主机上指定的目录或者文件,挂载到容器里面进行读取和修改。
在 Docker 项目里,它支持两种 Volume 声明方式,可以把宿主机目录挂载进容器的 /test 目录当中:
docker run -v /test ...
docker run -v /home:/test ...
而这两种声明方式的本质,实际上是相同的:都是把一个宿主机的目录挂载进了容器的 /test 目录。
只不过,在第一种情况下,由于你并没有显示声明宿主机目录,那么 Docker 就会默认在宿主机上创建一个临时目录
/var/lib/docker/volumes/[VOLUME_ID]/_data
,然后把它挂载到容器的 /test
目录上。而在第二种情况下,Docker 就直接把宿主机的 /home 目录挂载到容器的 /test 目录上。
启动容器时,给他声明一个 volume
docker run -d -v /test helloworld
容器启动之后,我们来查看一下这个容器 的 Volume 在宿主机上的对应的目录:
docker volume ls
DRIVER VOLUME NAME
local dc195c8ad14ad505832461d9f37da889c54ef284ebaf777a100e10a932217ad3
或者执行docker inspect CONTAINER_ID
命令查看,命令输出的 Mounts 字段中 Source 的值就是宿主机上的目录:
"Mounts": \[
{
"Type": "volume",
"Name": "dc195c8ad14ad505832461d9f37da889c54ef284ebaf777a100e10a932217ad3",
"Source": "/var/lib/docker/volumes/dc195c8ad14ad505832461d9f37da889c54ef284ebaf777a100e10a932217ad3/_data",
"Destination": "/test",
"Driver": "local",
"Mode": "",
"RW": true,
"Propagation": ""
}
\],
然后,查看宿主机上的路径:
ls /var/lib/docker/volumes/dc195c8ad14ad505832461d9f37da889c54ef284ebaf777a100e10a932217ad3/_data
这个 _data 文件夹,就是这个容器的 Volume 在宿主机上对应的临时目录了。接下来,我们在容器的 Volume 里,添加一个文件 text.txt:
docker exec -it cf53b766fa6f /bin/sh
cd test/
touch text.txt
这时,我们再回到宿主机,就会发现 text.txt 已经出现在了宿主机上对应的临时目录里了:
ls /var/lib/docker/volumes/dc195c8ad14ad505832461d9f37da889c54ef284ebaf777a100e10a932217ad3/_data
text.txt
因为容器运行时产生的文件,在容器停止后将会消失。因此,将容器的目录映射到宿主机的某个目录,一个重要使用场景是持久化容器中产生的文件,比如应用的日志。
给容器加上资源限制
其实容器是运行在宿主机上的特殊进程,多个容器之间是共享宿主机的操作系统内核的。默认情况下,容器并没有被设定使用操作系统资源的上限。
有些情况下,我们需要限制容器启动后占用的宿主机操作系统的资源。Docker 可以利用 Linux Cgroups 机制可以给容器设置资源使用限制。
Linux Cgroups 的全称是 Linux Control Group。它最主要的作用,就是限制一个进程组能够使用的资源上限,包括
CPU、内存、磁盘、网络带宽等等。Docker 正是利用这个特性限制容器使用宿主上的 CPU、内存。
下面启动容器的方式,给这个 Python 应用加上 CPU 和 Memory 限制:
docker run -it --cpu-period=100000 --cpu-quota=20000 -m 300M helloworld
–cpu-period 和–cpu-quota 组合使用来限制容器使用的 CPU 时间。表示在–cpu-period 的一段时间内,容器只能被分配到总量为
--cpu-quota 的 CPU 时间。-m 选项则限制了容器使用宿主机内存的上限。
上面启动容器的命令,将容器使用的 CPU 限制设定在最高 20%,内存使用最多是 300MB。
容器的启动、重启、停止与删除
前面我们使用过docker ps
查看当前运行中的容器,如果加上 -a
选项,则可以查看运行中和已经停止的所有容器。现在,看一下我的系统中目前的所有容器:
$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
525a8c3fc769 helloworld "python app.py" 4 hours ago Up 3 minutes 80/tcp hardcore_feistel
1695ed10e2cb helloworld "python app.py" 4 hours ago Up 3 minutes 0.0.0.0:5000->80/tcp focused_margulis7
a242ecaf6cf6 helloworld "python app.py" 5 hours ago Exited (0) 4 hours ago dazzling_khayyam
be0439b30b2a helloworld "python app.py" 5 hours ago Created vigilant_lalande
从输出中可以看到目前有四个容器,有两个容器处于 Up 状态,也就是处于运行中的状态,一个容器处于 Exited(0) 状态,也就是退出状态,一个处于
Created 状态。
这里补充说明一下 docker ps -a 的输出结果,一共包含 7 列数据,分别是 CONTAINER
ID、IMAGE、COMMAND、CREATED、STATUS、PORTS 和 NAMES。这些列的含义分别如下所示:
-
CONTAINER ID:容器 ID,唯一标识容器
-
IMAGE:创建容器时所用的镜像
-
COMMAND:在容器最后运行的命令
-
CREATED:容器创建的时间
-
STATUS:容器的状态
-
PORTS:对外开放的端口号
-
NAMES:容器名(具有唯一性,docker 负责命名)
获取到容器的 ID 之后,可以对容器的状态进行修改,比如容器 1695ed10e2cb 进行停止、启动、重启:docker stop 1695ed10e2cb
docker start 1695ed10e2cb
docker restart 1695ed10e2cb
删除容器,有两种操作:
docker rm 1695ed10e2cb
docker rm -f 1695ed10e2cb
不带-f 选项,只能删除处于非 Up 状态的容器,带上-f 则可以删除处于任何状态下的容器。
Docker 容器状态的流转关系,可以下面这张图:
这张图对容器的生命周期有了清晰的描述,总结了容器各种状态之间是如何转换的。
需要注意一点是容器可以先创建容器,稍后再启动。也就是可以先执行docker create
创建容器(处于 Created 状态),再通过docker start
以后台方式启动容器。docker run 命令实际上是 docker create 和 docker start 的组合。
维持容器始终保持运行状态
docker run 指令有一个参数--restart
,在容器中启动的进程正常退出或发生 OOM 时, docker 会根据 --restart
的策略判断是否需要重启容器。但如果容器是因为执行 docker stop 或 docker kill 退出,则不会自动重启。
docker 支持如下 restart 策略:
-
no – 容器退出时不要自动重启。这个是默认值。
-
on-failure[:max-retries] – 只在容器以非 0 状态码退出时重启。可选的,可以退出 docker daemon 尝试重启容器的次数。
-
always – 不管退出状态码是什么始终重启容器。当指定 always 时,docker daemon 将无限次数地重启容器。容器也会在 daemon 启动时尝试重启容器,不管容器当时的状态如何。
-
unless-stopped – 不管退出状态码是什么始终重启容器。不过当 daemon 启动时,如果容器之前已经为停止状态,不启动它。
在每次重启容器之前,不断地增加重启延迟(上一次重启的双倍延迟,从 100 毫秒开始),来防止影响服务器。这意味着 daemon 将等待 100ms, 然后
200 ms, 400 ms, 800 ms, 1600 ms 等等,直到超过 on-failure 限制,或执行 docker stop 或 docker
rm -f。
如果容器重启成功(容器启动后并运行至少 10 秒),然后 delay 重置为默认的 100ms。
重启策略示例:
docker run --restart=always 1695ed10e2cb # restart 策略为 always,使得容器退出时 ,docker 将重启它。并且是无限制次数重启。
docker run --restart=on-failure:10 redis #restart 策略为 on-failure, 最大重启次数为 10 的次。容器以非 0 状态连续退出超过 10 次,docker 将中断尝试重启这个容器。
可以通过 docker inspect 来查看已经尝试重启容器了多少次。例如,获取容器 1695ed10e2cb 的重启次数:
docker inspect -f "{{ .RestartCount }}" 1695ed10e2cb
或者获取上一次容器重启时间:
docker inspect -f "{{ .State.StartedAt }}" 1695ed10e2cb
以上,欢迎大家留言探讨。
_本文首发于 liuchunming.net ,作者授权发布。
_
** _
来霍格沃兹测试开发学社,学习更多软件测试与测试开发的进阶技术,知识点涵盖web自动化测试 app自动化测试、接口自动化测试、测试框架、性能测试、安全测试、持续集成/持续交付/DevOps,测试左移、测试右移、精准测试、测试平台开发、测试管理等内容,课程技术涵盖bash、pytest、junit、selenium、appium、postman、requests、httprunner、jmeter、jenkins、docker、k8s、elk、sonarqube、jacoco、jvm-sandbox等相关技术,全面提升测试开发工程师的技术实力
QQ交流群:484590337
公众号 TestingStudio
点击获取更多信息