Docker(二)数据管理、互联与镜像制作

一. Docker数据管理

这个部分的内容我都没有实践过,基本照抄原书,等用到的时候再补充修改

  生产环境中使用Docker的过程中,往往需要对数据进行持久化,或者需要在多个容器之间进行数据共享,这必然涉及容器的数据管理操作。

  容器中管理数据主要有两种方式:

  ·数据卷(Data Volumes):容器内数据直接映射到本地主机环境;

  ·数据卷容器(Data Volume Containers):使用特定容器维护数据卷。

 1. 数据卷

  数据卷是一个可供容器使用的特殊目录,它将主机操作系统目录直接映射进容器,类似于Linux中的mount操作。

  数据卷可以提供很多有用的特性,如下所示:

  · 数据卷可以在容器之间共享和重用,容器间传递数据将变得高效方便;

  · 对数据卷内数据的修改会立马生效,无论是容器内操作还是本地操作;

  · 对数据卷的更新不会影响镜像,解耦了应用和数据;

  · 卷会一直存在,直到没有容器使用,可以安全地卸载它。

1. 创建数据卷

  在用docker run命令的时候,使用-v标记可以在容器内创建一个数据卷。多次重复使用-v标记可以创建多个数据卷。

docker run -d -P --name web -v /webapp training/webapp python app.py

  -P是将容器服务暴露的端口,是自动映射到本地主机的临时端口

2. 挂载一个主机目录作为数据卷

  使用-v标记也可以指定挂载一个本地的已有目录到容器中去作为数据卷(推荐方式)。

docker run -d -P --name web -v /src/webapp:/opt/webapp training/webapp python app.py
//加载主机的/src/webapp目录到容器的/opt/webapp目录

  用户可以将一些程序或数据放到本地目录中,然后在容器内运行和使用。另外,本地目录的路径必须是绝对路径,如果目录不存在Docker,会自动创建。

  Docker挂载数据卷的默认权限是读写(rw),用户也可以通过ro指定为只读:

docker run -d -P --name web -v /src/webapp:/opt/webapp:ro
training/webapp python app.py

3. 挂载一个本地主机文件作为数据卷

  -v标记也可以从主机挂载单个文件到容器中作为数据卷(不推荐)。

docker run --rm -it -v ~/.bash_history:/.bash_history ubuntu /bin/bash

  这样就可以记录在容器输入过的命令历史了。

如果直接挂载一个文件到容器,使用文件编辑工具,包括vi或者sed--in-place的时候,可能会造成文件inode的改变,从Docker1.1.0起,这会导致报错误信息。所以推荐的方式是直接挂载文件所在的目录。

2. 数据卷容器

  如果用户需要在多个容器之间共享一些持续更新的数据,最简单的方式是使用数据卷容器。数据卷容器也是一个容器,但是它的目的是专门用来提供数据卷供其他容器挂载。

  首先,创建一个数据卷容器dbdata,并在其中创建一个数据卷挂载到/dbdata:

docker run -it -v /dbdata --name dbdata ubuntu

  查看/dbdata目录:

ls

  可以在其他容器中使用--volumes-from来挂载dbdata容器中的数据卷,例如创建db1和db2两个容器,并从dbdata容器挂载数据卷:

docker run -it --volumes-from dbdata --name db1 ubuntu
docker run -it --volumes-from dbdata --name db2 ubuntu

  此时,容器db1和db2都挂载同一个数据卷到相同的/dbdata目录。三个容器任何一方在该目录下的写入,其他容器都可以看到。

  可以多次使用--volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已经挂载了容器卷的容器来挂载数据卷。

  使用--volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。

  如果删除了挂载的容器(包括dbdata、db1和db2),数据卷并不会被自动删除。如果要删除一个数据卷,必须在删除最后一个还挂载着它的容器时显式使用docker rm-v命令来指定同时删除关联的容器。

3. 利用数据卷容器来迁移数据

  可以利用数据卷容器对其中的数据卷进行备份、恢复,以实现数据的迁移。

1. 备份

  使用下面的命令来备份dbdata数据卷容器内的数据卷:

docker run --volumes-from dbdata -v $(pwd):/backup --name worker ubuntu tar cvf /backup/backup.tar /dbdata

  这个命令稍微有点复杂,具体分析一下。首先利用ubuntu镜像创建了一个容器worker。使用--volumes-from dbdata参数来让worker容器挂载dbdata容器的数据卷(即dbdata数据卷);使用-v$(pwd):/backup参数来挂载本地的当前目录到worker容器的/backup目录。

  worker容器启动后,使用了tar cvf/backup/backup.tar/dbdata命令来将/dbdata下内容备份为容器内的/backup/backup.tar,即宿主主机当前目录下的backup.tar。

2. 恢复

  如果要将数据恢复到一个容器,可以按照下面的步骤操作。首先创建一个带有数据卷的容器dbdata2:

docker run -v /dbdata --name dbdata2 ubuntu /bin/bash

  然后创建另一个新的容器,挂载dbdata2的容器,并使用untar解压备份文件到所挂载的容器卷中:

docker run --volumes-from dbdata2 -v $(pwd):/backup busybox tar xvf/backup/backup.tar

 

二、端口映射与容器互联

  除了通过网络访问外,Docker还提供了两个很方便的功能来满足服务访问的基本需求:一个是允许映射容器内应用的服务端口到本地宿主主机;另一个是互联机制实现多个容器间通过容器名来快速访问。

1. 端口映射实现访问容器

1. 从外部访问容器应用

  在启动容器的时候,如果不指定对应的参数,在容器外部是无法通过网络来访问容器内的网络应用和服务的。

  当容器中运行一些网络应用,要让外部访问这些应用时,可以通过-P或-p参数来指定端口映射。

  当使用-P(大写的)标记时,Docker会随机映射一个49000~49900的端口到内部容器开放的网络端口:

$ docker run -d -P training/webapp python app.py
$ docker ps -l
CONTAINER ID      IMAGE                   COMMAND       CREATED        STATUS        PORTS                    NAMES
bc533791f3f5  training/webapp:latest  python app.py   5 seconds ago      Up 2 seconds  0.0.0.0:49155->5000/tcp  nostalgic_morse

  此时,可以使用docker ps看到,本地主机的49155被映射到了容器的5000端口。访问宿主主机的49155端口即可访问容器内Web应用提供的界面。

  同样,可以通过docker logs命令来查看应用的信息。(容器日志显示的太多了,不好看)

  -p(小写的)可以指定要映射的端口,并且,在一个指定端口上只可以绑定一个容器。支持的格式有IP:HostPort:ContainerPort|IP::ContainerPort|HostPort:ContainerPort。

2. 映射所有接口地址

  使用HostPort:ContainerPort格式将本地的5000端口映射到容器的5000端口,可以执行:

docker run -d -p 5000:5000 training/webapp python app.py

  此时默认会绑定本地所有接口上的所有地址。

  多次使用-p标记可以绑定多个端口。例如:

docker run -d -p 5000:5000  -p 3000:80 training/webapp python app.py

3. 映射到指定地址的指定端口

  可以使用IP:HostPort:ContainerPort格式指定映射使用一个特定地址,比如localhost地址127.0.0.1:

docker run -d -p 127.0.0.1:5000:5000 training/webapp python app.py

4. 映射到指定地址的任意端口

  使用IP::ContainerPort绑定localhost的任意端口到容器的5000端口,本地主机会自动分配一个端口:

docker run -d -p 127.0.0.1::5000 training/webapp python app.py

  还可以使用udp标记来指定udp端口:

docker run -d -p 127.0.0.1:5000:5000/udp training/webapp python app.py

5. 查看映射端口配置

  使用docker port命令来查看当前映射的端口配置,也可以查看到绑定的地址:

docker port nostalgic_morse 5000

  容器有自己的内部网络和IP地址,使用docker inspect+容器ID可以获取容器的具体信息。

2. 互联机制实现便捷互访

  容器的互联(linking)是一种让多个容器中应用进行快速交互的方式。它会在源和接收容器之间创建连接关系,接收容器可以通过容器名快速访问到源容器,而不用指定具体的IP地址。

1. 自定义容器命名

  连接系统依据容器的名称来执行。因此,首先需要定义一个好记的容器名字。

  虽然当创建容器的时候,系统默认会分配一个名字,但自定义容器名字有两个好处:

  · 自定义的命名比较好记,比如一个Web应用容器,我们可以给它起名叫web,一目了然;

  · 当要连接其他容器时,即便重启,也可以使用容器名而不用改变,比如连接web容器到db容器。

  使用--name标记可以为容器自定义命名:

docker run -d -P --name web training/webapp python app.py

  容器的名称是唯一的。如果已经命名了一个叫web的容器,当你要再次使用web这个名称的时候,需要先用docker rm来删除之前创建的同名容器。

  在执行docker run的时候如果添加--rm标记,则容器在终止后会立刻删除。注意,--rm和-d参数不能同时使用。

2. 容器互联

  使用--link参数可以让容器之间安全地进行交互。

  --link参数的格式为--link name:alias,其中name是要连接的容器名称,alias是这个连接的别名。

 

  例如,先创建一个新的数据库容器:

docker run -d --name db training/postgres

  然后创建一个新的web容器,并将它连接到db容器:

docker run -d -P --name web --link db:db training/webapp python app.py

  此时,db容器和web容器建立互联关系:

  Docker相当于在两个互联的容器之间创建了一个虚机通道,而且不用映射它们的端口到宿主主机上。在启动db容器的时候并没有使用-p和-P标记,从而避免了暴露数据库服务端口到外部网络上。

  Docker通过两种方式为容器公开连接信息:

· 更新环境变量;

· 更新/etc/hosts文件。

  使用env命令来查看web容器的环境变量:

$ docker run --rm --name web2 --link db:db training/webapp env
. . .
DB_NAME=/web2/db
DB_PORT=tcp://172.17.0.5:5432
DB_PORT_5000_TCP=tcp://172.17.0.5:5432
DB_PORT_5000_TCP_PROTO=tcp
DB_PORT_5000_TCP_PORT=5432
DB_PORT_5000_TCP_ADDR=172.17.0.5
. . .

  其中DB_开头的环境变量是供web容器连接db容器使用的,前缀采用大写的连接别名。

  除了环境变量之外,Docker还添加host信息到父容器的/etc/hosts文件。下面是父容器web的hosts文件:

$ docker run -t -i --rm --link db:db training/webapp /bin/bash
root@aed84ee21bde:/opt/webapp# cat /etc/hosts
172.17.0.7  aed84ee21bde
. . .
172.17.0.5  db

  这里有两个hosts信息,第一个是web容器,web容器用自己的id作为默认主机名,第二个是db容器的IP和主机名。可以在web容器中安装ping命令来测试与db容器的连通:

root@aed84ee21bde:/opt/webapp# apt-get install -yqq inetutils-ping
root@aed84ee21bde:/opt/webapp# ping db
PING db (172.17.0.5): 48 data bytes
56 bytes from 172.17.0.5: icmp_seq=0 ttl=64 time=0.267 ms
56 bytes from 172.17.0.5: icmp_seq=1 ttl=64 time=0.250 ms
56 bytes from 172.17.0.5: icmp_seq=2 ttl=64 time=0.256 ms

  用ping来测试db容器,它会解析成172.17.0.5。用户可以连接多个子容器到父容器,比如可以连接多个web到同一个db容器上。

三、使用Dockerfile创建镜像

  Dockerfile是一个文本格式的配置文件,用户可以使用Dockerfile来快速创建自定义的镜像。

1. 基本结构

  Dockerfile由一行行命令语句组成,并且支持以#开头的注释行。

  一般而言,Dockerfile分为四部分:基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令。

  例如:

# This Dockerfile uses the ubuntu image
# VERSION 2 - EDITION 1
# Author: docker_user
# Command format: Instruction [arguments / command] ..
# Base image to use, this must be set as the first line
FROM ubuntu
# Maintainer: docker_user <docker_user at email.com> (@docker_user)
MAINTAINER docker_user docker_user@email.com
# Commands to update the image
RUN echo "deb http://archive.ubuntu.com/ubuntu/ raring main universe" >> /etc/apt/
    sources.list
RUN apt-get update && apt-get install -y nginx
RUN echo "\ndaemon off;" >> /etc/nginx/nginx.conf
# Commands when creating a new container
CMD /usr/sbin/nginx

  其中,一开始必须指明所基于的镜像名称,接下来一般是说明维护者信息。后面则是镜像操作指令,例如RUN指令,RUN指令将对镜像执行跟随的命令。每运行一条RUN指令,镜像就添加新的一层,并提交。最后是CMD指令,用来指定运行容器时的操作命令。

  下面是Docker Hub上两个热门镜像的Dockerfile的例子,可以帮助读者对Dockerfile结构有个基本的认识。

  例子是在debian:jessie基础镜像基础上安装Nginx环境,从而创建一个新的nginx镜像:

FROM debian:jessie
MAINTAINER NGINX Docker Maintainers "docker-maint@nginx.com"
ENV NGINX_VERSION 1.10.1-1~jessie
RUN apt-key adv --keyserver hkp://pgp.mit.edu:80 --recv-keys 573BFD6B3D8FBC64107
    9A6ABABF5BD827BD9BF62 \
        && echo "deb http://nginx.org/packages/debian/ jessie nginx" >> /etc/
            apt/sources.list \
        && apt-get update \
        && apt-get install --no-install-recommends --no-install-suggests -y \
        ca-certificates \
        nginx=${NGINX_VERSION} \
        nginx-module-xslt \
        nginx-module-geoip \
        nginx-module-image-filter \
        nginx-module-perl \
        nginx-module-njs \
        gettext-base \
        && rm -rf /var/lib/apt/lists/*
# forward request and error logs to docker log collector
RUN ln -sf /dev/stdout /var/log/nginx/access.log \
    && ln -sf /dev/stderr /var/log/nginx/error.log
EXPOSE 80 443
CMD ["nginx", "-g", "daemon off;"]

2. 指令说明

  指令的一般格式为INSTRUCTION arguments,指令包括FROM、MAINTAINER、RUN等

 

 

 

  下面分别进行介绍。

 1. FROM

  指定所创建镜像的基础镜像,如果本地不存在,则默认会去Docker Hub下载指定镜像。

  格式为FROM<image>,或FROM<image>:<tag>,或FROM<image>@<digest>。

  任何Dockerfile中的第一条指令必须为FROM指令。并且,如果在同一个Dockerfile中创建多个镜像,可以使用多个FROM指令(每个镜像一次)。

2. MAINTAINER

  指定维护者信息,格式为MAINTAINER<name>。例如:

MAINTAINER image_creator@docker.com

  该信息会写入生成镜像的Author属性域中。

3. RUN

  运行指定命令。

  格式为RUN<command>或RUN["executable","param1","param2"]。注意,后一个指令会被解析为Json数组,因此必须用双引号。

  前者默认将在shell终端中运行命令,即/bin/sh-c;后者则使用exec执行,不会启动shell环境。

  指定使用其他终端类型可以通过第二种方式实现,例如RUN["/bin/bash","-c","echo hello"]。

  每条RUN指令将在当前镜像的基础上执行指定命令,并提交为新的镜像。当命令较长时可以使用\来换行。例如:

RUN apt-get update \
        && apt-get install -y libsnappy-dev zlib1g-dev libbz2-dev \
        && rm -rf /var/cache/apt

4. CMD

  CMD指令用来指定启动容器时默认执行的命令。它支持三种格式:

· CMD["executable","param1","param2"]使用exec执行,是推荐使用的方式;

· CMD command param1 param2在/bin/sh中执行,提供给需要交互的应用;

· CMD["param1","param2"]提供给ENTRYPOINT的默认参数。

  每个Dockerfile只能有一条CMD命令。如果指定了多条命令,只有最后一条会被执行。

  如果用户启动容器时手动指定了运行的命令(作为run的参数),则会覆盖掉CMD指定的命令。

5. LABEL

  LABEL指令用来指定生成镜像的元数据标签信息。

  格式为LABEL<key>=<value><key>=<value><key>=<value>...。

  例如:

LABEL version="1.0"
LABEL description="This text illustrates \ that label-values can span multiple lines."

6. EXPOSE

  声明镜像内服务所监听的端口。

  格式为EXPOSE<port>[<port>...]。

  例如:

EXPOSE 22 80 8443

  注意,该指令只是起到声明作用,并不会自动完成端口映射。

  在启动容器时需要使用-P,Docker主机会自动分配一个宿主机的临时端口转发到指定的端口;使用-p,则可以具体指定哪个宿主机的本地端口会映射过来。

7. ENV

  指定环境变量,在镜像生成过程中会被后续RUN指令使用,在镜像启动的容器中也会存在。

  格式为ENV<key><value>或ENV<key>=<value>...。

  例如:

ENV PG_MAJOR 9.3
ENV PG_VERSION 9.3.4
RUN curl -SL http://example.com/postgres-$PG_VERSION.tar.xz | tar -xJC /usr/src/
    postgress && …

ENV PATH /usr/local/postgres-$PG_MAJOR/bin:$PATH

  指令指定的环境变量在运行时可以被覆盖掉,如docker run--env<key>=<value>built_image。

8. ADD

  该命令将复制指定的<src>路径下的内容到容器中的<dest>路径下。

  格式为ADD<src><dest>。

  其中<src>可以是Dockerfile所在目录的一个相对路径(文件或目录),也可以是一个URL,还可以是一个tar文件(如果为tar文件,会自动解压到<dest>路径下)。<dest>可以是镜像内的绝对路径,或者相对于工作目录(WORKDIR)的相对路径。

  路径支持正则格式,例如:

ADD *.c /code/

9. COPY

  格式为COPY<src><dest>。

  复制本地主机的<src>(为Dockerfile所在目录的相对路径、文件或目录)下的内容到镜像中的<dest>下。目标路径不存在时,会自动创建。

  路径同样支持正则格式。

  当使用本地目录为源目录时,推荐使用COPY。

10. ENTRYPOINT

  指定镜像的默认入口命令,该入口命令会在启动容器时作为根命令执行,所有传入值作为该命令的参数。

  支持两种格式:

ENTRYPOINT ["executable", "param1", "param2"](exec调用执行);
ENTRYPOINT command param1 param2(shell中执行)。

  此时,CMD指令指定值将作为根命令的参数。

  每个Dockerfile中只能有一个ENTRYPOINT,当指定多个时,只有最后一个有效。

  在运行时,可以被--entrypoint参数覆盖掉,如docker run--entrypoint。

11. VOLUME

  创建一个数据卷挂载点。

  格式为VOLUME["/data"]。

  可以从本地主机或其他容器挂载数据卷,一般用来存放数据库和需要保存的数据等。

12. USER

  指定运行容器时的用户名或UID,后续的RUN等指令也会使用指定的用户身份。

  格式为USER daemon。

  当服务不需要管理员权限时,可以通过该命令指定运行用户,并且可以在之前创建所需要的用户。例如:

RUN groupadd -r postgres && useradd -r -g postgres postgres

  要临时获取管理员权限可以使用gosu或sudo。

13. WORKDIR

  为后续的RUN、CMD和ENTRYPOINT指令配置工作目录。

  格式为WORKDIR/path/to/workdir。

  可以使用多个WORKDIR指令,后续命令如果参数是相对路径,则会基于之前命令指定的路径。例如:

WORKDIR /a
WORKDIR b
WORKDIR c
RUN pwd

  则最终路径为/a/b/c。

14. ARG

  指定一些镜像内使用的参数(例如版本号信息等),这些参数在执行docker build命令时才以--build-arg<varname>=<value>格式传入。

  格式为ARG<name>[=<default value>]。

  则可以用docker build--build-arg<name>=<value>.来指定参数值。

15. ONBUILD

  配置当所创建的镜像作为其他镜像的基础镜像时,所执行的创建操作指令。

  格式为ONBUILD[INSTRUCTION]。

  例如,Dockerfile使用如下的内容创建了镜像image-A:

[...]
ONBUILD ADD . /app/src
ONBUILD RUN /usr/local/bin/python-build --dir /app/src
[...]

  如果基于image-A创建新的镜像时,新的Dockerfile中使用FROM image-A指定基础镜像,会自动执行ONBUILD指令的内容,等价于在后面添加了两条指令:

FROM image-A
#Automatically run the following
ADD . /app/src
RUN /usr/local/bin/python-build --dir /app/src

  使用ONBUILD指令的镜像,推荐在标签中注明,例如ruby:1.9-onbuild。

16. STOPSIGNAL

  指定所创建镜像启动的容器接收退出的信号值。例如:

STOPSIGNAL signal

17. HEALTHCHECK

  配置所启动容器如何进行健康检查(如何判断健康与否),自Docker 1.12开始支持。

  格式有两种:

HEALTHCHECK [OPTIONS] CMD command:根据所执行命令返回值是否为0来判断;

· HEALTHCHECK[OPTIONS]CMD command:根据所执行命令返回值是否为0来判断;

· HEALTHCHECK NONE:禁止基础镜像中的健康检查。

OPTION支持:

· --interval=DURATION(默认为:30s):过多久检查一次;

· --timeout=DURATION(默认为:30s):每次检查等待结果的超时;

· --retries=N(默认为:3):如果失败了,重试几次才最终确定失败。

18. SHELL

  指定其他命令使用shell时的默认shell类型。

  默认值为["/bin/sh","-c"]。

 

对于Windows系统,建议在Dockerfile开头添加#escape=`来指定转义信息。

3. 创建镜像

  编写完成Dockerfile之后,可以通过docker build命令来创建镜像。

  基本的格式为docker build[选项]内容路径,该命令将读取指定路径下(包括子目录)的Dockerfile,并将该路径下的所有内容发送给Docker服务端,由服务端来创建镜像。因此除非生成镜像需要,否则一般建议放置Dockerfile的目录为空目录。有两点经验:

· 如果使用非内容路径下的Dockerfile,可以通过-f选项来指定其路径。

· 要指定生成镜像的标签信息,可以使用-t选项。

  例如,指定Dockerfile所在路径为/tmp/docker_builder/,并且希望生成镜像标签为build_repo/first_image,可以使用下面的命令:

docker build -t build_repo/first_image /tmp/docker_builder/

4. 使用 .dockerignore 文件

可以通过.dockerignore文件(每一行添加一条匹配模式)来让Docker忽略匹配模式路径下的目录和文件。例如:

# comment 
    */temp* 
    */*/temp* 
    tmp?
    ~*

5. 最佳实践

  所谓最佳实践,实际上是从需求出发,来定制适合自己、高效方便的镜像。

  首先,要尽量吃透每个指令的含义和执行效果,自己多编写一些简单的例子进行测试,弄清楚了再撰写正式的Dockerfile。此外,Docker Hub官方仓库中提供了大量的优秀镜像和对应的Dockefile,可以通过阅读它们来学习如何撰写高效的Dockerfile。

  书中在应用过程中也总结了一些实践经验。建议读者在生成镜像过程中,尝试从如下角度进行思考,完善所生成的镜像。

· 精简镜像用途: 尽量让每个镜像的用途都比较集中、单一,避免构造大而复杂、多功能的镜像;

· 选用合适的基础镜像: 过大的基础镜像会造成生成臃肿的镜像,一般推荐较为小巧的debian镜像;

· 提供足够清晰的命令注释和维护者信息: Dockerfile也是一种代码,需要考虑方便后续扩展和他人使用;

· 正确使用版本号: 使用明确的版本号信息,如1.0,2.0,而非latest,将避免内容不一致可能引发的惨案;

· 减少镜像层数: 如果希望所生成镜像的层数尽量少,则要尽量合并指令,例如多个RUN指令可以合并为一条;

· 及时删除临时文件和缓存文件: 特别是在执行apt-get指令后,/var/cache/apt下面会缓存一些安装包;

· 提高生成速度: 如合理使用缓存,减少内容目录下的文件,或使用.dockerignore文件指定等;

· 调整合理的指令顺序: 在开启缓存的情况下,内容不变的指令尽量放在前面,这样可以尽量复用;

· 减少外部源的干扰: 如果确实要从外部引入数据,需要指定持久的地址,并带有版本信息,让他人可以重复而不出错。

 

posted @ 2022-07-15 09:53  莫莫君不恋爱  阅读(94)  评论(0编辑  收藏  举报