docker存储卷

COW机制

Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。

如果运行中的容器修改了现有的一个已经存在的文件,那么该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本依然存在,只是已经被读写层中该文件的副本所隐藏,这就是“写时复制(COW)”机制。

 

 

对于这种方式来说,我们去访问一个文件,修改和删除等一类的操作,其效率会非常的低,因为隔着很多层镜像。

而要想绕过这种限制,我们可以通过使用存储卷的机制来实现。

什么是存储卷

存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着,当我们在容器中的这个目录下写入数据时,容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。

 

 

在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。

使用存储卷的好处

如果容器中跑的进程的所有有效数据都保存在存储卷中,从而脱离容器自身文件系统之后,带来的好处是当容器关闭甚至被删除时,只要不删除与此容器绑定的在宿主机上的这个存储目录,我们就不用担心数据丢失了。因此就可以实现数据持久,脱离容器的生命周期而持久。

我们通过这种方式管理容器,容器就可以脱离主机的限制,可以在任意一台部署了docker的主机上跑容器,而其数据则可以置于一个共享存储文件系统上,比如nfs。

Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的,也就是说宿主机上有一块属于自己的硬盘,这个硬盘并没有共享给其他的Docker主机,而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。

这就意味着容器在这台主机上停止运行或者被删除了再重建,只要关联到硬盘上的这个目录下,那么其数据还存在。但如果在另一台主机上启动一个新容器,那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上,那么这个问题就不再是问题了。

为什么要用存储卷

关闭并重启容器,其数据不受影响,但删除Docker容器,则其更改将会全部丢失。

因此Docker存在的问题有:

  • 存储于联合挂载文件系统中,不易于宿主机访问
  • 容器间数据共享不便
  • 删除容器其数据会丢失

而要解决这些问题,解决方案就是使用存储卷。

存储卷管理方式

存储卷(Data Volume)于容器初始化时被自动创建,由base image提供的卷中的数据会于此期间完成复制。

Volume的初衷是独立于容器的生命周期实现数据持久化,因此删除容器之时既不会删除卷,也不会对未被引用的卷做垃圾回收操作。

存储卷为Docker提供了独立于容器的数据管理机制,我们可以把镜像想象成静态文件,例如“程序”,把卷类比为动态内容,例如“数据”。所以镜像可以重用,而卷则可以共享。

卷实现了“程序(镜像)”和“数据(卷)”的分离,以及“程序(镜像)”和“制作镜像的主机”的分离,用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。

 

 

存储卷的分类

Docker有两种类型的卷,每种类型都在容器中存在一个挂载点,但其在宿主机上的位置有所不同:

  • Bind mount volume
    • a volume that points to a user-specified location on the host file system
  • Docker-managed volume
    • the Docker daemon creates managed volumes in a portion of the host's file system that's owned bye Docker

 

 

容器数据管理

用户在使用Docker的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。

容器中管理数据主要有两种方式:

  • 数据卷(Data Volumes)
  • 数据卷容器(Data Volumes Containers)

容器Volume使用语法:
Docker-managed volume(Docker管理的卷)

docker run -it --name CONTAINER_NAME -v VOLUMEDIR IMAGE_NAME

Bind mount volume(绑定挂载量)

docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME

在容器中使用数据卷

在容器内创建一个数据卷

下面使用nginx镜像创建一个web容器,并创建一个数据卷挂载到容器的/webapp目录下:

[root@RedHat ~]# docker run -d -P --name http -v /httpd nginx
4e7363e46247a6d974d603bc29a83e7fcaaa0faf1ae9d81e0e8a10f78e19f890

这里的-P是允许外部访问容器需要暴露的端口。

挂载一个主机目录作为数据卷

//我将宿主机的/httpd/html 与容器的/data/html进行绑定
[root@RedHat ~]# docker run -P --rm --name http -v /httpd/html:/data/html nginx

//查看一下进程,发现已经挂载好了
[root@RedHat ~]# df -h
文件系统                      容量  已用  可用 已用% 挂载点
devtmpfs                      969M     0  969M    0% /dev
tmpfs                         984M     0  984M    0% /dev/shm
tmpfs                         984M  8.7M  975M    1% /run
tmpfs                         984M     0  984M    0% /sys/fs/cgroup
/dev/mapper/rhel_redhat-root   17G  3.0G   15G   18% /
/dev/nvme0n1p1               1014M  146M  869M   15% /boot
tmpfs                         197M     0  197M    0% /run/user/0
overlay                        17G  3.0G   15G   18% /var/lib/docker/overlay2/c623d82a1b2654b2d12dd5fe30ff1f1451342de692939c14ff4591a6e0989f19/merged

//测试一下文件系统的互通性
//新开一台终端登陆到容器里,新建一个文件夹abc
[root@RedHat html]# docker  exec  -it http /bin/bash
root@07b6525f63a4:/data/html# pwd
/data/html
root@07b6525f63a4:/data/html# touch abc
root@07b6525f63a4:/data/html# ls
abc

//到主机里面进入共享目录查看创建的文件夹是否存在
[root@RedHat html]# pwd
/httpd/html
[root@RedHat html]# ls
abc

//测试容器删除之后存储卷内容会不会删除
//已经退出了容器
[root@RedHat ~]# docker ps
CONTAINER ID   IMAGE     COMMAND   CREATED   STATUS    PORTS     NAMES

//这边的内容发现还在
[root@RedHat html]# pwd
/httpd/html
[root@RedHat html]# ls
abc

这个功能在进行测试的时候非常方便,比如用户可以放置一些程序或数据到本地目录中,然后在容器内运行和使用。另外,本地目录的路径必须是绝对路径,如果目录不存在,Docker会自动创建。

Docker挂载数据卷的默认权限是读写(rw),用户也可以通过(ro)指定为只读:

[root@RedHat ~]# docker run -P --rm --name http2 -v /httpd/html:/data/html:ro nginx

//另开一个终端进入容器的/data/html目录中尝试创建文件,发现创建不了
[root@RedHat ~]# docker exec -it 11b5f32f36b6 /bin/bash
root@11b5f32f36b6:/# cd /data/html/
root@11b5f32f36b6:/data/html# touch abc
touch: cannot touch 'abc': Read-only file system(翻译:rm:无法删除“ abc”:只读文件系统)

//使用宿主机进入/httpd/html创建文件,尝试用容器删除发现也删除不了
[root@RedHat ~]# cd /httpd/html/
[root@RedHat html]# touch abc

root@11b5f32f36b6:/data/html# ls
abc
root@11b5f32f36b6:/data/html# rm -rf abc
rm: cannot remove 'abc': Read-only file system

加了:ro以后,容器内挂载的数据卷的数据就无法修改了。

挂载一个本地主机文件作为数据卷
-v选项也可以从主机挂载单个文件到容器中作为数据卷:

[root@RedHat ~]# docker run -it --rm -v ~/.bash_history:/.bash_history centos /bin/bash 

这样就可以记录在容器输入过的命令历史了。

如果直接挂载一个文件到容器,使用文件编辑工具,包括vi或者sed去修改文件内容的时候,可能会造成inode的改变,这样将会导致错误。所以推荐的方式是直接挂载文件所在的目录。

 

数据卷容器

 

如果用户需要在容器之间共享一些持续更新的数据,最简单的方式是使用数据卷容器。数据卷容器其实就是一个普通的容器,专门用它提供数据卷供其他容器挂载使用,方法如下:

 

首先,创建一个数据卷容器dbdata,并在其中创建一个数据卷挂载到/dbdata:

 

[root@RedHat ~]# docker run -itd --rm -v /dbdata --name dbdata centos
364b3c0149697fdd0bb8978ede9f87d618a101a39deb8b03b57a3793442a8f49
[root@RedHat ~]# docker ps
CONTAINER ID   IMAGE     COMMAND       CREATED         STATUS         PORTS     NAMES
364b3c014969   centos    "/bin/bash"   3 seconds ago   Up 2 seconds             dbdata

 

后可以在其他容器中使用--volumes-from来挂载dbdata容器中的数据卷,例如创建a0和a1两个容器,并从dbdata容器挂载数据卷:

[root@RedHat ~]# docker run -itd --name a0 --volumes-from dbdata centos
caeb28579a0bd558fc0ecf7eca36c3f012f2e0fa5f43e812b5b7b2575fc7ce23
[root@RedHat ~]# docker run -itd --name a1 --volumes-from dbdata centos
6e60075571b7781bbde0ed2e4cf4364ec227dfcbb9671b37f673b88495ea062f

此时,容器a0和a1都挂载同一个数据卷到相同的/dbdata目录。三个容器任何一方在该目录下的写入,其他容器都可以看到。
例如,在dbdata容器中创建一个abc文件

 

//在dbdata中创建一个文件abc往里面写入xixi
[root@RedHat ~]# docker exec -it dbdata /bin/bash    
[root@364b3c014969 /]# cd dbdata
[root@364b3c014969 dbdata]# touch abc
[root@364b3c014969 dbdata]# ls /dbdata/
abc
[root@364b3c014969 dbdata]# echo xixi>/dbdata/abc

//去a0容器中查看
[root@RedHat ~]# docker exec -it a0 /bin/bash
[root@caeb28579a0b /]# cat /dbdata/abc 
xixi

//去a1容器中查看
[root@RedHat ~]# docker exec -it a1 /bin/bash
[root@6e60075571b7 /]# cat /dbdata/abc 
xixi

 

可以多次使用--volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已挂载了容器卷的容器来挂载数据卷:

 

[root@RedHat ~]# docker run -it --name a2 --volumes-from a0 centos
[root@f0eafd695778 /]# cat /dbdata/abc 
xixi
[root@f0eafd695778 /]# 

 

使用--volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。

如果删除了挂载的容器(包括dbdata、a0和db1),数据卷并不会被自动删除。如果要删除一个数据卷,必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。

 

利用数据卷容器迁移数据

可以利用数据卷容器对其中的数据卷进行备份、恢复,以实现数据的迁移。

备份

使用下面的命令来备份dbdata数据卷容器内的数据卷:

 

//创建容器
[root@RedHat ~]# docker run -itd --name dbdata -v /dbdata centos
[root@9cf15c74a517 /]# echo 'xixi' >/dbdata/abc    //在/dbdata/abc文件里面写入xixi
[root@9cf15c74a517 /]# cd /dbdata/    //创建一个大小为1M的文件
[root@9cf15c74a517 dbdata]# dd if=/dev/zero  of=test bs=1M count=10
10+0 records in
10+0 records out
10485760 bytes (10 MB, 10 MiB) copied, 0.00346573 s, 3.0 GB/s
[root@9cf15c74a517 dbdata]# ls 
abc  test
[root@9cf15c74a517 dbdata]# du -sh *
4.0K    abc
10M    test

 

//创建备份数据容器 backup
[root@RedHat ~]# docker run --name backup --volumes-from  dbdata -v $(pwd):/backup centos tar zcf /backup/backup.tar.gz /dbdata
tar: Removing leading `/' from member names
[root@RedHat ~]# ls 
anaconda-ks.cfg  backup.tar.gz

//删除并且重新启动容器
[root@RedHat ~]# rm -f backup.tar.gz 
[root@RedHat ~]# docker ps -a
CONTAINER ID   IMAGE     COMMAND                  CREATED              STATUS                          PORTS     NAMES
b4aae2ecfcdf   centos    "tar zcf /backup/bac…"   About a minute ago   Exited (0) About a minute ago             backup
21ba68039f6c   centos    "/bin/bash"              3 minutes ago        Up 3 minutes                              dbdata
[root@RedHat ~]# docker start backup
backup
[root@RedHat ~]# ls
anaconda-ks.cfg  backup.tar.gz

//由此可见容器启动时会自动执行备份操作

这个命令稍微有点复杂,具体分析下。
首先利用centos镜像创建了一个容器worker。使用--volumes-from dbdata参数来让worker容器挂载dbdata容器的数据卷(即dbdata数据卷);使用-v $(pwd):/backup参数来挂载本地的当前目录到worker容器的/backup目录。
worker容器启动后,使用了tar cvf /backup/backup.tar /dbdata命令来将/dbdata下内容备份为容器内的/backup/backup.tar,即宿主主机当前目录下的backup.tar。

恢复

如果要恢复数据到一个容器,可以按照下面的操作。首先创建一个带有数据卷的容器dbdata1:

[root@RedHat ~]# docker run -it --name dbdata1 -v /dbdata centos /bin/bash

然后创建另一个新的容器,挂载dbdata1容器,并使用tar解压备份文件到所挂载的容器卷中即可:

 

[root@RedHat ~]# docker run -itd --name dbdata1 -v /dbdata centos
99f7dd7a95319ae5983871182eb6f3aac0e162a00aed0ed36662a22fb438721e
[root@RedHat ~]# docker ps
CONTAINER ID   IMAGE     COMMAND       CREATED         STATUS         PORTS     NAMES
99f7dd7a9531   centos    "/bin/bash"   8 seconds ago   Up 6 seconds             dbdata1
3e029a52d342   centos    "/bin/bash"   8 minutes ago   Up 8 minutes             dbdata
[root@RedHat ~]# docker run --rm --volumes-from dbdata1 -v $(pwd):/backup centos tar xf /backup/backup.tar.gz
[root@RedHat ~]# docker exec -it dbdata1 /bin/bash
[root@99f7dd7a9531 /]# ls
bin    dev  home  lib64       media  opt   root  sbin    sys  usr
dbdata    etc  lib   lost+found  mnt    proc  run   srv    tmp  var
[root@99f7dd7a9531 /]# ls dbdata
abc  test

 

posted @ 2021-03-03 18:18  离愁落雨  阅读(68)  评论(0编辑  收藏  举报