Docker镜像管理基础

Docker镜像管理基础

目录

镜像的概念

镜像可以理解为应用程序的集装箱，而docker用来装卸集装箱。

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。

docker镜像采用分层构建机制，最底层为bootfs，其上为rootfs

  • bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启动完成后会被卸载以节约内存资源
  • rootfs：位于bootfs之上，表现为docker容器的根文件系统
    • 传统模式中，系统启动之时，内核挂载rootfs会首先将其挂载为“只读”模式，完整性自检完成后将其重新挂载为读写模式
    • docker中，rootfs由内核挂载为“只读”模式，而后通过“联合挂载”技术额外挂载一个“可写”层

注意：当删除容器时，这个容器自有的“可写”层会一起被删除

img

docker镜像层

img

位于下层的镜像称为父镜像（parrent image），最底层的称为基础镜像（base image）；
最上层为“可读写”层，其下的均为“只读”层。

docker存储驱动

docker提供了多种存储驱动来实现不同的方式存储镜像，下面是常用的几种存储驱动：

  • AUFS
  • OverlayFS
  • Devicemapper
  • Btrfs
  • VFS

AUFS

AUFS（AnotherUnionFS）是一种Union FS，是文件级的存储驱动。AUFS是一个能透明覆盖一个或多个现有文件系统的层状文件系统，把多层合并成文件系统的单层表示。简单来说就是支持将不同目录挂载到同一个虚拟文件系统下的文件系统。这种文件系统可以一层一层地叠加修改文件。无论底下有多少层都是只读的，只有最上层的文件系统是可写的。当需要修改一个文件时，AUFS创建该文件的一个副本，使用CoW将文件从只读层复制到可写层进行修改，结果也保存在可写层。在Docker中，底下的只读层就是image，可写层就是Container。

AUFS文件系统据说有3W行代码，而ext4文件系统却只有4000-5000行左右代码，这些代码是要被整合进内核的，后来AUFS申请要被合并进内核代码的时候，linuz觉得它这代码太过臃肿，于是拒绝了。因此AUFS这个文件系统一直以来就不是linux内核中自有的文件系统，想用AUFS这个文件系统的话，必须自己向内核打补丁并去编译使用它，但redhat系列的操作系统一向以稳定著称，不会干这种出格的事，所以在redhat系列操作系统中使用AUFS并无可能。而ubuntu上的docker默认使用的就是AUFS。

OverlayFS

Overlay是Linux内核3.18后支持的，也是一种Union FS，和AUFS的多层不同的是Overlay只有两层：一个upper文件系统和一个lower文件系统，分别代表Docker的镜像层和容器层。当需要修改一个文件时，使用CoW将文件从只读的lower复制到可写的upper进行修改，结果也保存在upper层。在Docker中，底下的只读层就是image，可写层就是Container。目前最新的OverlayFS为Overlay2。

AUFS和Overlay都是联合文件系统，但AUFS有多层，而Overlay只有两层，所以在做写时复制操作时，如果文件比较大且存在比较低的层，则AUSF会慢一些。而且Overlay并入了linux kernel mainline，AUFS没有。目前AUFS已基本被淘汰。

DeviceMapper

Device mapper是Linux内核2.6.9后支持的，提供的一种从逻辑设备到物理设备的映射框架机制，在该机制下，用户可以很方便的根据自己的需要制定实现存储资源的管理策略。AUFS和OverlayFS都是文件级存储，而Device mapper是块级存储，所有的操作都是直接对块进行操作，而不是文件。Device mapper驱动会先在块设备上创建一个资源池，然后在资源池上创建一个带有文件系统的基本设备，所有镜像都是这个基本设备的快照，而容器则是镜像的快照。所以在容器里看到文件系统是资源池上基本设备的文件系统的快照，并没有为容器分配空间。当要写入一个新文件时，在容器的镜像内为其分配新的块并写入数据，这个叫用时分配。当要修改已有文件时，再使用CoW为容器快照分配块空间，将要修改的数据复制到在容器快照中新的块里再进行修改。

OverlayFS是文件级存储，Device mapper是块级存储，当文件特别大而修改的内容很小，Overlay不管修改的内容大小都会复制整个文件，对大文件进行修改显然要比小文件要消耗更多的时间，而块级无论是大文件还是小文件都只复制需要修改的块，并不是整个文件，在这种场景下，显然device mapper要快一些。因为块级的是直接访问逻辑盘，适合IO密集的场景。而对于程序内部复杂，大并发但少IO的场景，Overlay的性能相对要强一些。

docker registry

启动容器时，docker daemon会试图从本地获取相关的镜像，本地镜像不存在时，其将从Registry中下载该镜像并保存到本地。

Registry用于保存docker镜像，包括镜像的层次结构和元数据。用户可以自建Registry，亦可使用官方的Docker Hub。

docker registry的分类：

  • Sponsor Registry：第三方的Registry，供客户和Docker社区使用
  • Mirror Registry：第三方的Registry，只让客户使用
  • Vendor Registry：由发布docker镜像的供应商提供的registry
  • Private Registry：通过设有防火墙和额外的安全层的私有实体提供的registry

docker registry的组成：

  • Repository
    • 由某特定的docker镜像的所有迭代版本组成的镜像仓库
    • 一个Registry中可以存在多个Repository
      • Repository可分为“顶层仓库”和“用户仓库”
      • 用户仓库名称格式为“用户名/仓库名”
    • 每个仓库可包含多个Tag(标签)，每个标签对应一个镜像
  • Index
    • 维护用户帐户、镜像的检验以及公共命名空间的信息
    • 相当于为Registry提供了一个完成用户认证等功能的检索接口

Docker Registry中的镜像通常由开发人员制作，而后推送至“公共”或“私有”Registry上保存，供其他人员使用，例如“部署”到生产环境。

img

docker镜像的制作

多数情况下，我们做镜像是基于别人已存在的某个基础镜像来实现的，我们把它称为base image。 比如一个纯净版的最小化的centos、ubuntu或debian。

那么这个最小化的centos镜像从何而来呢？ 其实这个基础镜像一般是由Docker Hub的相关维护人员，也就是Docker官方手动制作的。 这个基础镜像的制作对于Docker官方的专业人员来说是非常容易的，但对于终端用户来说就不是那么容易制作的了。

Docker Hub

Docker Hub 是一项基于云的注册表服务，允许您链接到代码存储库、构建映像并对其进行测试、存储手动推送的映像以及指向 Docker Cloud 的链接，以便将映像部署到主机。

它为容器映像发现、分发和更改管理、用户和团队协作以及整个开发管道中的工作流自动化提供了集中式资源。

image-20220805095717276

Docker Hub 提供以下主要功能：

  • 映像存储库
    • 从社区和官方库中查找和提取映像，以及管理、推送到您有权访问的私有映像库以及从中拉取映像库。
  • 自动构建
    • 在对源代码存储库进行更改时自动创建新映像。
  • 网络钩子
    • Webhooks 是自动构建的一项功能，可让您在成功推送到存储库后触发操作。
  • 组织
    • 创建工作组以管理对映像存储库的访问。
  • GitHub 和 Bitbucket 集成
    • 将中心和 Docker 映像添加到当前工作流。

docker镜像的获取

要从远程注册表（例如您自己的 Docker 注册表）获取 Docker 映像并将其添加到本地系统，请使用 docker pull 命令：

docker pull [:]/[/]:

这是在 TCP 上提供 docker-distribution 服务的主机（默认：5000）

Together, and identify a particular image controlled by at the registry

  • Some registries also support raw ;for those, is optional
  • When it is included, however, the additional level of hierarchy that provides is usefull to distinguish between images with the same

The additional level of hierarchy of

Namespace 示例（<namespace>/<name>）
组织 redhat/kubernetes， google/kubernetes
登录（用户名） Alice/application， bob/application
角色 devel/database, test/database, prod/database

镜像的生成

镜像的生成途径：

  • Dockerfile
  • 基于容器制作
  • Docker Hub automated builds

img

基于容器制作镜像

根据容器的更改创建新映像

用法：

docker commit [OPTIONS] CONTAINER [REPOSITORY[:TAG]]

Options Default Description
—author, -a 作者 (e.g., "John Hannibal Smith hannibal@a-team.com")
-c, --change list Apply Dockerfile instruction to the created image
-m, --message string Commit message
-p, --pause true 在提交期间暂停容器

  1. 提取官方镜像

    [root@rh1 ~]# docker pull centos		#提取centos官方镜像
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest
[root@rh1 ~]# docker images		#查看当前的镜像列表，有centos
REPOSITORY   TAG       IMAGE ID       CREATED         SIZE
centos       latest    5d0da3dc9764   10 months ago   231MB

  2. 使用镜像创建容器

    [root@rh1 ~]# docker run -d -it --name a1 centos		#使用centos镜像创建一个仓库并运行，使用-d参数放在后台运行 -it设定容器使用shell
88cd83ee6c68506e52581965e2ec7d0523bcc2a89213c11fe9adad42b9026414
[root@rh1 ~]# docker ps 		#查看当前正在运行中的镜像
CONTAINER ID   IMAGE     COMMAND       CREATED          STATUS          PORTS     NAMES
88cd83ee6c68   centos    "/bin/bash"   12 seconds ago   Up 10 seconds             a1

  3. 在创建镜像时，我们不能关闭容器，必须使其处于运行状态，所以我们必须要另起一个终端

  4. 在容器内可以搭建自己想要的服务

  5. 在主机上基于容器生成新的镜像

    [root@rh1 ~]# docker commit -a 'zhangsan <zhangsan@1234.com>' -c 'CMD ["/root/httpd.sh"]' -p a1 centos-httpd:v3		
#-a指定作者极其邮箱，可以不添加该参数， -c指定默认启动程序  -p 为暂停容器 a1为容器名 centos-httpd:v3为自定义的镜像名和脚本

  6. 上传镜像，此时要注意的是，如果我们的仓库名叫centos-httpd，那么我们要在Docker Hub上创建一个名为centos-httpd的仓库，然后再将我们做好的镜像push上去

[root@rh1 ~]# docker login 		#登入自己的docker hub账号
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: xiang0311
Password: 
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
[root@rh1 ~]# docker tag centos-httpd:v3 xiang0311/centos-httpd:v3		#先打上标签
[root@rh1 ~]# docker push xiang0311/centos-httpd:v3 		#再进行上传
The push refers to repository [docker.io/xiang0311/centos-httpd]
dce50ca3a723: Pushed 
74ddd0ec08fa: Pushed 
v3: digest: sha256:0baebe67ef6f6c8d68e1a28a246181d5baee455d0a213e39b485c3b69116dae5 size: 742

制作一个默认运行apache服务的镜像

提取镜像并搭建仓库

[root@rh1 ~]# docker pull centos		#提取centos官方镜像
Using default tag: latest
latest: Pulling from library/centos
a1d0c7532777: Pull complete 
Digest: sha256:a27fd8080b517143cbbbab9dfb7c8571c40d67d534bbdee55bd6c473f432b177
Status: Downloaded newer image for centos:latest
docker.io/library/centos:latest
[root@rh1 ~]# docker images		#查看当前的镜像列表，有centos
REPOSITORY   TAG       IMAGE ID       CREATED         SIZE
centos       latest    5d0da3dc9764   10 months ago   231MB
[root@rh1 ~]# docker run -d -it --name a1 centos		#使用centos镜像创建一个仓库并运行，使用-d参数放在后台运行
88cd83ee6c68506e52581965e2ec7d0523bcc2a89213c11fe9adad42b9026414
[root@rh1 ~]# docker ps 		查看当前正在运行中的镜像
CONTAINER ID   IMAGE     COMMAND       CREATED          STATUS          PORTS     NAMES
88cd83ee6c68   centos    "/bin/bash"   12 seconds ago   Up 10 seconds             a1
[root@rh1 ~]# docker exec -it a1 /bin/bash  		#进入容器内，-it参数用于指定其使用的hell
[root@88cd83ee6c68 /]# ls
bin  dev  etc  home  lib  lib64  lost+found  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var

将所需要的包拷贝至容器中

注：建议另开一个终端继续以下操作，方便实时观察容器内情况

[root@rh1 ~]# mkdir bao		#创建一个目录，将编译apache所需要的包下载至该目录内
[root@rh1 ~]# cd bao
[root@rh1 bao]# ls		#下载过程省略，可参考往期博客，这里可以看出包已经全部下载至此目录下
apr-1.6.5.tar.bz2  apr-util-1.6.1.tar.bz2  httpd-2.4.54.tar.bz2
[root@rh1 ~]# docker cp bao   a1:/usr/src		#将目录'bao'拷贝至容器内/usr/src下
[root@88cd83ee6c68 /]# ls /usr/src/bao/			#此时可以在另一终端容器内查看是否拷贝成功
apr-1.6.5.tar.bz2  apr-util-1.6.1.tar.bz2  httpd-2.4.54.tar.bz2

开始在容器内编译安装apache

[root@88cd83ee6c68 /]# cd /etc/yum.repos.d/			#因为容器内yum网络仓库无法使用，所以这里开始删除并重新搭建yum网络仓库
[root@88cd83ee6c68 yum.repos.d]# ls 
CentOS-Linux-AppStream.repo	     CentOS-Linux-Debuginfo.repo  CentOS-Linux-FastTrack.repo	      CentOS-Linux-Plus.repo
CentOS-Linux-BaseOS.repo	     CentOS-Linux-Devel.repo	  CentOS-Linux-HighAvailability.repo  CentOS-Linux-PowerTools.repo
CentOS-Linux-ContinuousRelease.repo  CentOS-Linux-Extras.repo	  CentOS-Linux-Media.repo	      CentOS-Linux-Sources.repo
[root@88cd83ee6c68 yum.repos.d]# rm -rf *
[root@88cd83ee6c68 yum.repos.d]# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2495  100  2495    0     0  11188      0 --:--:-- --:--:-- --:--:-- 11188
[root@88cd83ee6c68 yum.repos.d]# sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
[root@88cd83ee6c68 yum.repos.d]# ls
CentOS-Base.repo
[root@88cd83ee6c68 yum.repos.d]# dnf -y install bzip2		#安装bzip2用于解压apache的包
***省略部分输出***
Installed:
  bzip2-1.0.6-26.el8.x86_64                                                                                                               
Complete!
[root@88cd83ee6c68 bao]# tar xf apr-1.6.5.tar.bz2 			#解压所有的包
[root@88cd83ee6c68 bao]# tar xf apr-util-1.6.1.tar.bz2 
[root@88cd83ee6c68 bao]# tar xf httpd-2.4.54.tar.bz2   
[root@88cd83ee6c68 bao]# ls
apr-1.6.5  apr-1.6.5.tar.bz2  apr-util-1.6.1  apr-util-1.6.1.tar.bz2  httpd-2.4.54  httpd-2.4.54.tar.bz2
#以下皆为apache编译安装过程，不做详细解释，可参考往期博客
[root@88cd83ee6c68 bao]# dnf -y groups mark install 'Development Tools'
[root@88cd83ee6c68 bao]# dnf -y install openssl-devel pcre-devel expat-devel libtool gcc gcc-c++
[root@88cd83ee6c68 bao]# cd apr-1.6.5
[root@88cd83ee6c68 apr-1.6.5]# vi configure
	cfgfile=${ofile}T
    trap "$RM \"$cfgfile\"; exit 1" 1 2 15
    #$RM "$cfgfile"			#注释此行
[root@88cd83ee6c68 apr-1.6.5]# ./configure --prefix=/usr/local/apr
[root@88cd83ee6c68 apr-1.6.5]# dnf -y install make
[root@88cd83ee6c68 apr-1.6.5]# make && make install
[root@88cd83ee6c68 apr-1.6.5]# cd ../apr-util-1.6.1
[root@88cd83ee6c68 apr-util-1.6.1]# ./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr
[root@88cd83ee6c68 apr-util-1.6.1]# make && make install
[root@88cd83ee6c68 apr-util-1.6.1]# cd ../httpd-2.4.54
[root@88cd83ee6c68 httpd-2.4.54]# ./configure --prefix=/usr/local/apache --enable-so --enable-ssl --enable-cgi --enable-rewrite  --with-zlib --with-pcre --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util/ --enable-modules=most --enable-mpms-shared=all --with-mpm=prefork
configure: summary of build options:

    Server Version: 2.4.54
    Install prefix: /usr/local/apache
    C compiler:     gcc
    CFLAGS:          -g -O2 -pthread  
    CPPFLAGS:        -DLINUX -D_REENTRANT -D_GNU_SOURCE  
    LDFLAGS:           
    LIBS:             
    C preprocessor: gcc -E
[root@88cd83ee6c68 httpd-2.4.54]# make &&make install

配置启动apache脚本

[root@88cd83ee6c68 ~]# vi httpd.sh		#配置启动脚本
[root@88cd83ee6c68 ~]# cat httpd.sh 
#!/bin/bash
/usr/local/apache/bin/httpd
sleep 10d
[root@88cd83ee6c68 ~]# chmod +x httpd.sh 	#给脚本添加执行权限

提交镜像

#方式一：
[root@rh1 ~]# docker commit -a 'zhangsan <zhangsan@1234.com>' -c 'CMD ["/root/httpd.sh"]' -p a1 centos-httpd:v3		
#-a指定作者极其邮箱，可以不添加该参数， -c指定默认启动程序  -p 为暂停容器 a1为容器名 centos-httpd:v3为自定义的镜像名和脚本
sha256:7045dadcf0e807159b087fec6713f3c3f71734577e68a65f235da03bd2e3ec9c
#方式二：
[root@rh1 ~]# docker commit -a 'zhangsan <zhangsan@1234.com>' -c 'CMD ["/usr/local/apache/bin/httpd","-D","FOREGROUND"]' -p a1 centos-httpd:v4
sha256:7dedf1bc5dc70176931c53f7eaed077f2793178388c97745803c1b28a795c1e7
[root@rh1 ~]# docker images 		#查看镜像列表，两种方式运行httpd的镜像都已经提交成功
REPOSITORY     TAG       IMAGE ID       CREATED          SIZE
centos-httpd   v4        7dedf1bc5dc7   15 seconds ago   714MB
centos-httpd   v3        7045dadcf0e8   29 minutes ago   714MB
centos         latest    5d0da3dc9764   10 months ago    231MB
[root@rh1 ~]# docker run -d -it --name a3 -p 80:80 centos-httpd:v3	#创建并后台运行容器a3,使用centos-httpd:v3镜像
1767fdd2ec5b9599bf3b36869e781db572c0dc40c7144488e2fbfa0b96b78687
[root@rh1 ~]# docker run -d -it --name a4 centos-httpd:v4		#创建并运行容器a4，centos-httpd:v4镜像
d1987bc351c4bbf9d5d19e027caca51ad1d9c43911bcca0ba870bca047653b05
[root@rh1 ~]# docker ps		#查看正在运行的容器
CONTAINER ID   IMAGE             COMMAND                  CREATED          STATUS          PORTS                               NAMES
d1987bc351c4   centos-httpd:v4   "/usr/local/apache/b…"   58 seconds ago   Up 57 seconds   80/tcp                              a4
1767fdd2ec5b   centos-httpd:v3   "/root/httpd.sh"         16 minutes ago   Up 16 minutes   0.0.0.0:80->80/tcp, :::80->80/tcp   a3

[root@rh1 ~]# docker inspect a3| grep IPAddress		#查看容器a3的IP地址
            "SecondaryIPAddresses": null,
            "IPAddress": "172.17.0.2",
                    "IPAddress": "172.17.0.2",
[root@rh1 ~]# docker inspect a4|grep IPAddr			#查看容器a4的IP地址
            "SecondaryIPAddresses": null,
            "IPAddress": "172.17.0.3",
                    "IPAddress": "172.17.0.3",
[root@rh1 ~]# curl 172.17.0.2		#访问容器a3的IP地址
<html><body><h1>It works!</h1></body></html>
[root@rh1 ~]# curl 172.17.0.3		#访问容器a4的IP地址
<html><body><h1>It works!</h1></body></html>

a3容器映射了端口，可以真机访问

image-20220807135733234

镜像的导入与导出

假如有2台主机，我们在主机1上做了一个镜像，主机2想用这个镜像怎么办呢？

我们可以在主机1上push镜像到镜像仓库中，然后在主机2上pull把镜像拉下来使用，这种方式就显得比较麻烦，假如我只是测试用的，在一台主机上做好镜像后在另一台主机上跑一下就行了，没必要推到仓库上然后又把它拉到本地来。

此时我们可以在已有镜像的基础上把镜像打包成一个压缩文件，然后拷贝到另一台主机上将其导入，这就是镜像的导入和导出功能。

docker中我们使用docker save进行导出，使用docker load进行导入。

在已生成镜像的主机上执行docker save导出镜像

[root@rh1 ~]# docker save -o centos-httpd.gz centos-httpd:v3
[root@rh1 ~]# ls
centos-httpd.gz

在另一台没有镜像的主机上执行docker load导入镜像

[root@rh2 ~]# scp  'root'@'192.168.244.120':/root/centos-httpd.gz .		#将远程主机上的文件拷贝至当前目录
The authenticity of host '192.168.244.120 (192.168.244.120)' can't be established.
ECDSA key fingerprint is SHA256:4OAMZHkSwnoRqgD6qIbh7i9pR5kxhfqySvERl985cnk.
Are you sure you want to continue connecting (yes/no/[fingerprint])? y
Please type 'yes', 'no' or the fingerprint: yes     
Warning: Permanently added '192.168.244.120' (ECDSA) to the list of known hosts.
root@192.168.244.120's password: 
centos-httpd.gz                                                                                                  100%  701MB  83.3MB/s   00:08    
[root@rh2 ~]# ls
anaconda-ks.cfg  centos-httpd.gz
[root@rh2 ~]# docker load -i centos-httpd.gz		#导入镜像
74ddd0ec08fa: Loading layer [==================================================>]  238.6MB/238.6MB
dce50ca3a723: Loading layer [==================================================>]  496.6MB/496.6MB
Loaded image: centos-httpd:v3
[root@rh2 ~]# docker images 			#查看镜像
REPOSITORY     TAG       IMAGE ID       CREATED             SIZE
centos-httpd   v3        f34e55fcfb14   About an hour ago   714MB
posted @ 2022-08-07 15:41  Archer-x  阅读(29)  评论(0)  编辑  收藏  举报