Containerd初体验【1】

在学习 Containerd 之前我们有必要对 Docker 的发展历史做一个简单的回顾，因为这里面牵涉到的组件实战是有点多，有很多我们会经常听到，但是不清楚这些组件到底是干什么用的，比如 libcontainer、runc、containerd、CRI、OCI 等等。

1.Docker

该部分参考链接：https://www.qikqiak.com/post/containerd-usage/

从 Docker 1.11 版本开始，Docker 容器运行就不是简单通过 Docker Daemon 来启动了，而是通过集成 containerd、runc 等多个组件来完成的。虽然 Docker Daemon 守护进程模块在不停的重构，但是基本功能和定位没有太大的变化，一直都是 CS 架构，守护进程负责和 Docker Client 端交互，并管理 Docker 镜像和容器。现在的架构中组件 containerd 就会负责集群节点上容器的生命周期管理，并向上为 Docker Daemon 提供 gRPC 接口。

当我们要创建一个容器的时候，现在 Docker Daemon 并不能直接帮我们创建了，而是请求 containerd 来创建一个容器，containerd 收到请求后，也并不会直接去操作容器，而是创建一个叫做 containerd-shim 的进程，让这个进程去操作容器，我们指定容器进程是需要一个父进程来做状态收集、维持 stdin 等 fd 打开等工作的，假如这个父进程就是 containerd，那如果 containerd 挂掉的话，整个宿主机上所有的容器都得退出了，而引入 containerd-shim 这个垫片就可以来规避这个问题了。

然后创建容器需要做一些 namespaces 和 cgroups 的配置，以及挂载 root 文件系统等操作，这些操作其实已经有了标准的规范，那就是 OCI（开放容器标准），runc 就是它的一个参考实现（Docker 被逼无奈将 libcontainer 捐献出来改名为 runc 的），这个标准其实就是一个文档，主要规定了容器镜像的结构、以及容器需要接收哪些操作指令，比如 create、start、stop、delete 等这些命令。runc 就可以按照这个 OCI 文档来创建一个符合规范的容器，既然是标准肯定就有其他 OCI 实现，比如 Kata、gVisor 这些容器运行时都是符合 OCI 标准的。

所以真正启动容器是通过 containerd-shim 去调用 runc 来启动容器的，runc 启动完容器后本身会直接退出，containerd-shim 则会成为容器进程的父进程, 负责收集容器进程的状态, 上报给 containerd, 并在容器中 pid 为 1 的进程退出后接管容器中的子进程进行清理, 确保不会出现僵尸进程。

而 Docker 将容器操作都迁移到 containerd 中去是因为当前做 Swarm，想要进军 PaaS 市场，做了这个架构切分，让 Docker Daemon 专门去负责上层的封装编排，当然后面的结果我们知道 Swarm 在 Kubernetes 面前是惨败，然后 Docker 公司就把 containerd 项目捐献给了 CNCF 基金会，这个也是现在的 Docker 架构。

2.CRI

Kubernetes 提供了一个 CRI 的容器运行时接口，那么这个 CRI 到底是什么呢？这个其实也和 Docker 的发展密切相关的。

在 Kubernetes 早期的时候，当时 Docker 实在是太火了，Kubernetes 当然会先选择支持 Docker，而且是通过硬编码的方式直接调用 Docker API，后面随着 Docker 的不断发展以及 Google 的主导，出现了更多容器运行时，Kubernetes 为了支持更多更精简的容器运行时，Google 就和红帽主导推出了 CRI 标准，用于将 Kubernetes 平台和特定的容器运行时（当然主要是为了干掉 Docker）解耦。

CRI（Container Runtime Interface 容器运行时接口）本质上就是 Kubernetes 定义的一组与容器运行时进行交互的接口，所以只要实现了这套接口的容器运行时都可以对接到 Kubernetes 平台上来。不过 Kubernetes 推出 CRI 这套标准的时候还没有现在的统治地位，所以有一些容器运行时可能不会自身就去实现 CRI 接口，于是就有了 shim（垫片），一个 shim 的职责就是作为适配器将各种容器运行时本身的接口适配到 Kubernetes 的 CRI 接口上，其中 dockershim 就是 Kubernetes 对接 Docker 到 CRI 接口上的一个垫片实现。

Kubelet 通过 gRPC 框架与容器运行时或 shim 进行通信，其中 kubelet 作为客户端，CRI shim（也可能是容器运行时本身）作为服务器。

CRI 定义的 API主要包括两个 gRPC 服务，ImageService 和 RuntimeService，ImageService 服务主要是拉取镜像、查看和删除镜像等操作，RuntimeService 则是用来管理 Pod 和容器的生命周期，以及与容器交互的调用（exec/attach/port-forward）等操作，可以通过 kubelet 中的标志 --container-runtime-endpoint 和 --image-service-endpoint 来配置这两个服务的套接字。

不过这里同样也有一个例外，那就是 Docker，由于 Docker 当时的江湖地位很高，Kubernetes 是直接内置了 dockershim 在 kubelet 中的，所以如果你使用的是 Docker 这种容器运行时的话是不需要单独去安装配置适配器之类的，当然这个举动似乎也麻痹了 Docker 公司。

现在如果我们使用的是 Docker 的话，当我们在 Kubernetes 中创建一个 Pod 的时候，首先就是 kubelet 通过 CRI 接口调用 dockershim，请求创建一个容器，kubelet 可以视作一个简单的 CRI Client, 而 dockershim 就是接收请求的 Server，不过他们都是在 kubelet 内置的。

dockershim 收到请求后, 转化成 Docker Daemon 能识别的请求, 发到 Docker Daemon 上请求创建一个容器，请求到了 Docker Daemon 后续就是 Docker 创建容器的流程了，去调用 containerd，然后创建 containerd-shim 进程，通过该进程去调用 runc 去真正创建容器。

其实我们仔细观察也不难发现使用 Docker 的话其实是调用链比较长的，真正容器相关的操作其实 containerd 就完全足够了，Docker 太过于复杂笨重了，当然 Docker 深受欢迎的很大一个原因就是提供了很多对用户操作比较友好的功能，但是对于 Kubernetes 来说压根不需要这些功能，因为都是通过接口去操作容器的，所以自然也就可以将容器运行时切换到 containerd 来。

切换到 containerd 可以消除掉中间环节，操作体验也和以前一样，但是由于直接用容器运行时调度容器，所以它们对 Docker 来说是不可见的。因此，你以前用来检查这些容器的 Docker 工具就不能使用了。你不能再使用 docker ps 或 docker inspect 命令来获取容器信息。由于不能列出容器，因此也不能获取日志、停止容器，甚至不能通过 docker exec 在容器中执行命令。

当然我们仍然可以下载镜像，或者用 docker build 命令构建镜像，但用 Docker 构建、下载的镜像，对于容器运行时和 Kubernetes，均不可见。为了在 Kubernetes 中使用，需要把镜像推送到镜像仓库中去。

从上图可以看出在 containerd 1.0 中，对 CRI 的适配是通过一个单独的 CRI-Containerd 进程来完成的，这是因为最开始 containerd 还会去适配其他的系统（比如 swarm），所以没有直接实现 CRI，所以这个对接工作就交给 CRI-Containerd 这个 shim 了。

然后到了 containerd 1.1 版本后就去掉了 CRI-Containerd 这个 shim，直接把适配逻辑作为插件的方式集成到了 containerd 主进程中，现在这样的调用就更加简洁了。

与此同时 Kubernetes 社区也做了一个专门用于 Kubernetes 的 CRI 运行时 CRI-O，直接兼容 CRI 和 OCI 规范。

这个方案和 containerd 的方案显然比默认的 dockershim 简洁很多，不过由于大部分用户都比较习惯使用 Docker，所以大家还是更喜欢使用 dockershim 方案。

但是随着 CRI 方案的发展，以及其他容器运行时对 CRI 的支持越来越完善，Kubernetes 社区在2020年7月份就开始着手移除 dockershim 方案了：https://github.com/kubernetes/enhancements/tree/master/keps/sig-node/2221-remove-dockershim，现在的移除计划是在 1.20 版本中将 kubelet 中内置的 dockershim 代码分离，将内置的 dockershim 标记为维护模式，当然这个时候仍然还可以使用 dockershim，目标是在 1.23⁄1.24 版本发布没有 dockershim 的版本（代码还在，但是要默认支持开箱即用的 docker 需要自己构建 kubelet，会在某个宽限期过后从 kubelet 中删除内置的 dockershim 代码）。那么这是否就意味这 Kubernetes 不再支持 Docker 了呢？当然不是的，这只是废弃了内置的 dockershim 功能而已，Docker 和其他容器运行时将一视同仁，不会单独对待内置支持，如果我们还想直接使用 Docker 这种容器运行时应该怎么办呢？可以将 dockershim 的功能单独提取出来独立维护一个 cri-dockerd 即可，就类似于 containerd 1.0 版本中提供的 CRI-Containerd，当然还有一种办法就是 Docker 官方社区将 CRI 接口内置到 Dockerd 中去实现。

但是我们也清楚 Dockerd 也是去直接调用的 Containerd，而 containerd 1.1 版本后就内置实现了 CRI，所以 Docker 也没必要再去单独实现 CRI 了，当 Kubernetes 不再内置支持开箱即用的 Docker 的以后，最好的方式当然也就是直接使用 Containerd 这种容器运行时，而且该容器运行时也已经经过了生产环境实践的，接下来我们就来学习下 Containerd 的使用。

3.Containerd 介绍

早之前的 Docker Engine 中就有了 containerd，只不过现在是将 containerd 从 Docker Engine 里分离出来，作为一个独立的开源项目，目标是提供一个更加开放、稳定的容器运行基础设施。分离出来的 containerd 将具有更多的功能，涵盖整个容器运行时管理的所有需求，提供更强大的支持。

containerd 是一个工业级标准的容器运行时，它强调简单性、健壮性和可移植性，containerd 可以负责干下面这些事情：

管理容器的生命周期（从创建容器到销毁容器）
拉取/推送容器镜像
存储管理（管理镜像及容器数据的存储）
调用 runc 运行容器（与 runc 等容器运行时交互）
管理容器网络接口及网络

containerd 可用作 Linux 和 Windows 的守护程序，它管理其主机系统完整的容器生命周期，从镜像传输和存储到容器执行和监测，再到底层存储到网络附件等等。

3.1 Containerd的优势

简洁的基于 gRPC 的 API 和 client library
完整的 OCI 支持(runtime 和 image spec)
同时具备稳定性和高性能的定义良好的容器核心功能
一个解耦的系统(让 image、filesystem、runtime 解耦合)，实现插件式的扩展和重用

3.2 为什么需要独立的 Containerd

以往隶属于docker项目中，现如今从整体 docker 引擎中分离出的项目(开源项目的思路)
可以被 Kubernets CRI 等项目使用(通用化)
为广泛的行业合作打下基础(就像 runC 一样)

3.3 Containerd 架构图

Containerd的架构设计图：

4.Containerd安装

安装及使用视频请参考：https://www.bilibili.com/video/BV15Y411w7cG?p=10&vd_source=63cc68f69f89329622925bf97b8959cc

Containerd安装分为两种方式：

yum安装方式
二进制包安装方式

以下分别演示两种不同的安装。

4.1 yum方式安装

4.1.1 环境介绍

系统及软件	版本号
Centos	6.9
Containerd	1.6.19

4.1.2 获取YUM源

备份源主机的yum源
>cd /etc/yum.repos.d/
>mkdir bak
>mv *.repo bak/

添加阿里云yum
>curl https://mirrors.aliyun.com/repo/Centos-7.repo -o /etc/yum.repos.d/Centos-7.repo
>curl https://mirrors.aliyun.com/repo/epel-7.repo -o /etc/yum.repos.d/epel-7.repo
>curl https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo  -o /etc/yum.repos.d/docker-ce.repo

查看yum源中containerd.io软件
>yum info containerd.io
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
Available Packages
Name        : containerd.io
Arch        : x86_64
Version     : 1.6.19
Release     : 3.1.el7
Size        : 34 M
Repo        : docker-ce-stable
Summary     : An industry-standard container runtime
URL         : https://containerd.io
License     : ASL 2.0
Description : containerd is an industry-standard container runtime with an emphasis on
            : simplicity, robustness and portability. It is available as a daemon for Linux
            : and Windows, which can manage the complete container lifecycle of its host
            : system: image transfer and storage, container execution and supervision,
            : low-level storage and network attachments, etc.

4.1.3 使用yum安装

安装containerd.io 软件
>yum install -y containerd.io

4.1.4 验证安装及启动服务

>rpm -ql containerd.io
/etc/containerd
/etc/containerd/config.toml
/usr/bin/containerd
/usr/bin/containerd-shim
/usr/bin/containerd-shim-runc-v1
/usr/bin/containerd-shim-runc-v2
/usr/bin/ctr
/usr/bin/runc
/usr/lib/systemd/system/containerd.service
/usr/share/doc/containerd.io-1.6.19
/usr/share/doc/containerd.io-1.6.19/README.md
/usr/share/licenses/containerd.io-1.6.19
/usr/share/licenses/containerd.io-1.6.19/LICENSE
/usr/share/man/man5/containerd-config.toml.5
/usr/share/man/man8/containerd-config.8
/usr/share/man/man8/containerd.8
/usr/share/man/man8/ctr.8

启动服务及开机自启
>systemctl enable containerd ; systemctl start containerd

4.1.5 验证可用性

安装 containerd 时 ctr 命令作为客户端工具主要用于管理容器及容器镜像等。使用 ctr 命令查看 containerd客户端及服务器信息。

>ctr version
Client:
  Version:  1.6.19
  Revision: 1e1ea6e986c6c86565bc33d52e34b81b3e2bc71f
  Go version: go1.19.7

Server:
  Version:  1.6.19
  Revision: 1e1ea6e986c6c86565bc33d52e34b81b3e2bc71f
  UUID: 39c52ad7-5c2d-4d74-acd7-d027b90aec83

4.2 二进制方式安装

系统及软件	版本号
Centos	6.9
Containerd	1.7.0

Containerd 有两种安装包：

第一种是 containerd-xxx 这种包用于单机测试没问题，不包含runC，需要提前安装；
第二种是 cri-containerd-cni-xxx ，包含runC和k8s里所需的相关文件。k8s集群里需要用到此包，虽然包含runC，但是依赖系统中的 seccomp

4.2.1 获取安装包

下载地址：https://github.com/containerd/containerd/releases

下载 containerd 包

wget https://github.com/containerd/containerd/releases/download/v1.7.0/cri-containerd-cni-1.7.0-linux-amd64.tar.gz

4.2.2 安装containerd

安装 containerd

>tar xf cri-containerd-cni-1.7.0-linux-amd64.tar.gz -C /

4.2.3 生成配置文件

创建目录
>mkdir /etc/containerd

生成配置文件
>containerd config default > /etc/containerd/config.toml

修改配置文件关键参数

1. 修改SystemCgroup 为 true

>vim /etc/containerd/config.toml

...
SystemdCgroup = true
...

2. 添加镜像加速

修改 config.toml 配置文件

[plugins."io.containerd.grpc.v1.cri".registry]
      config_path = "/etc/containerd/certs.d"  # 镜像地址配置文件

>mkdir -p /etc/containerd/certs.d/docker.io

配置加速

>cat << EOF >> /etc/containerd/certs.d/docker.io/hosts.toml
server = "https://docker.io"
[host."https://docker.mirrors.ustc.edu.cn"]
EOF

重启 containerd

>systemctl restart containerd

4.2.4 启动Containerd

启动 containerd

>systemctl enable containerd ; systemctl start containerd

4.2.5 查看并验证

>ctr version
Client:
  Version:  v1.7.0
  Revision: 1fbd70374134b891f97ce19c70b6e50c7b9f4e0d
  Go version: go1.20.2

Server:
  Version:  v1.7.0
  Revision: 1fbd70374134b891f97ce19c70b6e50c7b9f4e0d
  UUID: 1f4630ff-27d5-46a4-b444-ca288c516127

4.2.6 安装runC并验证结果

由于二进制包中提供的runC默认需要系统中安装seccomp支持，需要单独安装，且不同版本runC对seccomp版本要求一致，所以建议单独下载runC二进制包进行安装，里面包含了 seccomp 模块支持。

下载地址：https://github.com/opencontainers/runc/releases

下载runC

>wget https://github.com/opencontainers/runc/releases/download/v1.1.5/runc.amd64

安装runC

>cp -a runc.amd64 /usr/local/sbin/runc
>chmod +x /usr/local/sbin/runc

验证runC

>runc -v
runc version 1.0.0-rc95
spec: 1.0.2-dev
go: go1.14.15
libseccomp: 2.5.1

5.Containerd镜像管理

docker-cli 工具提供了需要增强用户体验的功能，containerd 同样也提供一个对应 CLI工具：ctr ，不过 ctr 的功能没有 docker 完善，但是关于镜像和容器的基本功能都是有的。接下来介绍下 ctr 的使用。

5.1 Containerd容器镜像管理命令

ctr i ls - 查看镜像
ctr i pull docker.io/library/nginx:alpine - 下载镜像
ctr i mount docker.io/library/nginx:alpine /mnt/ - 挂载镜像
ctr i export --platform linux/amd64 nginx.img docker.io/library/nginx:alpine - 导出镜像
ctr i rm docker.io/library/nginx:alpine -

5.2 查看镜像

i: 等价于 images
>ctr i ls
REF TYPE DIGEST SIZE PLATFORMS LABELS

5.3 下载镜像

containerd 支持 OCI 标准镜像，所有可以直接使用 docker 官方或 dockerfile构建的镜像

>ctr i pull docker.io/library/nginx:alpine
docker.io/library/nginx:alpine:                                                   resolved       |++++++++++++++++++++++++++++++++++++++|
index-sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f:    done           |++++++++++++++++++++++++++++++++++++++|
manifest-sha256:01ccf4035840dd6c25042b2b5f6b09dd265b4ed5aa7b93ccc4714027c0ce5685: done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:c23b4f8cf279507bb1dd3d6eb2d15ca84fac9eac215ab5b529aa8b5a060294c8:    done           |++++++++++++++++++++++++++++++++++++++|
config-sha256:8e75cbc5b25c8438fcfe2e7c12c98409d5f161cbb668d6c444e02796691ada70:   done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:f56be85fc22e46face30e2c3de3f7fe7c15f8fd7c4e5add29d7f64b87abdaa09:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:2ce963c369bc5690378d31c51dc575c7035f6adfcc1e286051b5a5d9a7b0cc5c:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:59b9d2200e632e457f800814693b3a01adf09a244c38ebe8d3beef5c476c4c55:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:3e1e579c95fece6bbe0cb9c8c2949512a3f8caaf9dbe6219dc6495abb9902040:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:547a97583f72a32903ca1357d48fa302e91e8f83ffa18e0c40fd87adb5c06025:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:1f21f983520d9a440d410ea62eb0bda61a2b50dd79878071181b56b82efa9ef3:    done           |++++++++++++++++++++++++++++++++++++++|
elapsed: 8.7 s                                                                    total:  16.0 M (1.8 MiB/s)
unpacking linux/amd64 sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f...
done: 1.595243191s

可根据系统架构进行下载，上面默认采用的是 linux/amd64 平台下载。

下载linux/arm64平台镜像
>ctr i pull --platform linux/arm64 docker.io/library/nginx:alpine
docker.io/library/nginx:alpine:                                                   resolved       |++++++++++++++++++++++++++++++++++++++|
index-sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f:    exists         |++++++++++++++++++++++++++++++++++++++|
manifest-sha256:5a3980760a3e6bd779d6ff3a029d24044e7660a1600dfd2f72298bf4657f1f6c: done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:7bcac465295e8cfefa26d0ad33a638a0415ad7c4e1afba500b9633f97e277c3c:    done           |++++++++++++++++++++++++++++++++++++++|
config-sha256:510900496a6c312a512d8f4ba0c69586e0fbd540955d65869b6010174362c313:   done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:c41833b44d910632b415cd89a9cdaa4d62c9725dc56c99a7ddadafd6719960f9:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:2c2c9b85ac58c9f389d42b1033672337110dba86c12d1b0d5c7c384a7cfe110b:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:40f94fa3619489012a181c2b217548ea718fe485578eec4afdef4b14b3bc536e:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:ae26f20697dc7e3b86701a83a1ed42b81b1755f0763130d7f6f816a39adaf388:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:e4fa283fba0e8150c05ba453aed98ff4f4bdd65a6248837101fc16b489d1101e:    done           |++++++++++++++++++++++++++++++++++++++|
layer-sha256:4c53b6cdc37bcca61cf31d3308b58fda6d7d3192ddd56559cca2f67eafcb0cc1:    done           |++++++++++++++++++++++++++++++++++++++|
elapsed: 9.7 s                                                                    total:  15.4 M (1.6 MiB/s)
unpacking linux/arm64 sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f...
done: 1.660794241s

查看

>ctr i ls
REF                            TYPE                                                      DIGEST                                                                  SIZE     PLATFORMS                                                                          LABELS
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f 16.0 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -

5.4 镜像挂载

方便查看镜像中包含的内容。

把已下载的容器镜像挂载至当前文件系统
>ctr i mount docker.io/library/nginx:alpine /mnt/
sha256:f301a4112756ab559d9c78e8ed3625dab81f91803dfeabbc4f9184c878b1f3b1
/mnt/

>ls /mnt/
bin/  dev/  docker-entrypoint.d/  docker-entrypoint.sh*  etc/  home/  lib/  media/  mnt/  opt/  proc/  root/  run/  sbin/  srv/  sys/  tmp/  usr/  var/

卸载
>umount /mnt

5.5 镜像导出

把镜像导出
>ctr i export --platform linux/amd64 nginx.img docker.io/library/nginx:alpine
>du -sh nginx.img
17M     nginx.img

5.6 镜像删除

删除指定容器镜像
>ctr i rm docker.io/library/nginx:alpine
docker.io/library/nginx:alpine

再次查看容器镜像
>ctr i ls
REF TYPE DIGEST SIZE PLATFORMS LABELS

5.7 镜像导入

导入容器镜像
>ctr i import --platform linux/amd64 nginx.img

注意：导出导入都必须指定 --platform 且一致，否则会报错！！！

5.8 修改镜像TAG

>ctr i tag docker.io/library/nginx:alpine nginx:alpine
>ctr i ls
REF                            TYPE                                                      DIGEST                                                                  SIZE     PLATFORMS                                                                          LABELS
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f 16.0 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f 16.0 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -

修改完成后对镜像做对比

>ctr i check
REF                            TYPE                                                      DIGEST                                                                  STATUS         SIZE         UNPACKED
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f complete (8/8) 16.0 MiB/16.0 MiB true
nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f complete (8/8) 16.0 MiB/16.0 MiB true

6.Containerd容器管理

在 containerd 中，容器分为两种：静态容器和动态容器

静态容器：命令创建容器后，容器并没有处于运行状态，其只是一个静态容器，这个 container对象只是包含了一个容器所需的资源及配置的数据结构
动态容器：处于运行当中，有用户进程的容器

注意：在 container中，无法在没有镜像的情况下直接启动一个容器，必须遵循：1. pull镜像；2.启动容器。

6.1 查看容器

container表示静态容器，可用 c 缩写代表container

>ctr c ls
CONTAINER    IMAGE    RUNTIME

或者
>ctr container ls

6.2 查看任务

task表示容器里跑的进程，可用 t 缩写代表 task

>ctr task ls 
或者
>ctr t ls

6.3 创建静态容器

>ctr c create docker.io/library/nginx:alpine ngx
>ctr c ls
CONTAINER    IMAGE                             RUNTIME
ngx          docker.io/library/nginx:alpine    io.containerd.runc.v2

查看容器详细信息
>ctr c info ngx

6.4 静态容器启动为动态容器

启动task，即表示在容器中运行进程，即为动态容器
>ctr t ls
TASK    PID    STATUS
>ctr t start -d ngx
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/

说明：-d 表示在后台运行，与docker一致


查看容器所在宿主机的进程，是宿主机进程的方式存在的
>ctr t ls
TASK    PID      STATUS
ngx     16045    RUNNING

查看容器的进程（都是物理机的进程）
>ctr t ps ngx
PID      INFO
16045    -
16080    -
16081    -

6.5 进入容器操作

>ctr t exec --exec-id 1 -t ngx sh
/ #ifconfig
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
         
         
直接访问ngx
/ #curl -Is 127.0.0.1
HTTP/1.1 200 OK
Server: nginx/1.23.4
Date: Mon, 03 Apr 2023 01:48:04 GMT
Content-Type: text/html
Content-Length: 615
Last-Modified: Tue, 28 Mar 2023 17:09:24 GMT
Connection: keep-alive
ETag: "64231f44-267"
Accept-Ranges: bytes

6.6 直接运行一个动态容器

>ctr run -d --net-host docker.io/library/nginx:alpine ngx
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/

说明：
-d 代表后台运行
--net-host 代表容器的IP就是宿主机的IP（相当于docker里面的 host 类型网络）

测试是否运行成功
>curl -Is 127.0.0.1
HTTP/1.1 200 OK
Server: nginx/1.23.4
Date: Mon, 03 Apr 2023 01:52:20 GMT
Content-Type: text/html
Content-Length: 615
Last-Modified: Tue, 28 Mar 2023 17:09:24 GMT
Connection: keep-alive
ETag: "64231f44-267"
Accept-Ranges: bytes

查看静态容器
>ctr c ls
CONTAINER    IMAGE                             RUNTIME
ngx          docker.io/library/nginx:alpine    io.containerd.runc.v2

查看动态容器
root@containerd(192.168.199.101)~>ctr t ls
TASK    PID      STATUS
ngx     16366    RUNNING

进入容器内部查看
>ctr t exec --exec-id 1 ngx sh

ifconfig
eth0      Link encap:Ethernet  HWaddr 52:54:00:E8:88:2B
          inet addr:192.168.199.101  Bcast:192.168.199.255  Mask:255.255.255.0
          inet6 addr: fe80::5054:ff:fee8:882b/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:992892 errors:0 dropped:158 overruns:0 frame:0
          TX packets:72942 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:465982699 (444.3 MiB)  TX bytes:7003786 (6.6 MiB)

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:10 errors:0 dropped:0 overruns:0 frame:0
          TX packets:10 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:848 (848.0 B)  TX bytes:848 (848.0 B)

为容器中运行的网站添加网站文件
/ #echo "nginx" > /usr/share/nginx/html/index.html
/ #curl -s 127.0.0.1
nginx
/ #exit

宿主机访问:
>curl localhost
nginx
>curl 192.168.199.101
nginx

6.7 暂停容器

如果只是希望容器暂停工作一段时间，比如要对容器的文件系统做个快照，host需要使用CPU，处于暂停的容器不占用CPU资源。

查看容器状态
>ctr t ls
TASK    PID      STATUS
ngx     16366    RUNNING

暂停容器
>ctr t pause ngx
>ctr t ls
TASK    PID      STATUS
ngx     16366    PAUSED

宿主机无法访问网站
>curl -s 192.168.199.101

6.8 恢复容器

使用repause命令恢复容器
>ctr t resume ngx
>ctr t ls
TASK    PID      STATUS
ngx     16366    RUNNING

6.9 停止容器

使用kill命令停止容器中运行的进程，即为停止容器
>ctr t kill ngx
状态从 RUNNING 变为 STOPPED
>ctr t ls
TASK    PID      STATUS
ngx     16366    STOPPED

6.10 删除容器

删除容器之前必须停止容器。

>ctr t ls
TASK    PID      STATUS
ngx     16366    STOPPED
>ctr t rm ngx
>ctr t ls
TASK    PID    STATUS

查看静态容器还存在系统中
>ctr c ls
CONTAINER    IMAGE                             RUNTIME
ngx          docker.io/library/nginx:alpine    io.containerd.runc.v2
>ctr c rm ngx
>ctr c ls
CONTAINER    IMAGE    RUNTIME

7.命名空间

containerd 中是支持命名空间的概念.

7.1 查看命名空间

>ctr namespace ls
NAME    LABELS
default

或者
>ctr ns ls
NAME    LABELS
default

7.2 创建名称空间

如果不指定， ctr 默认使用 default 空间，同样也可以使用 ns create 命令创建一个命名空间：

>ctr ns create test
>ctr ns ls
NAME    LABELS
default
test

7.3 指定名称空间启动容器

验证问题：当default 空间中有镜像，能否启动容器在test空间？

>ctr -n default i ls
REF                            TYPE                                                      DIGEST                                                                  SIZE     PLATFORMS                                                                          LABELS
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f 16.0 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -

在test空间中启动容器
>ctr -n test run -d docker.io/library/nginx:alpine ngx
ctr: image "docker.io/library/nginx:alpine": not found

上面报错信息为：找不到镜像。看来名称空间将镜像也隔离使用。

第一步，pull 镜像到 test 空间

注意命令选项位置：
>ctr -n test i pull docker.io/library/nginx:alpine

查看镜像
>ctr -n test i ls
REF                            TYPE                                                      DIGEST                                                                  SIZE     PLATFORMS                                                                          LABELS
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:c94a22b036afa972426b82d5b0a49c959786005b4f6f81ac7467ca5538d0158f 16.0 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -

第二步，启动容器

启动容器前，请确认其他命名空间容器端口不存在冲突，否则容器状态为 STOPPED

>ctr -n test run -d --net-host docker.io/library/nginx:alpine ngx
>ctr -n test t ls
TASK    PID      STATUS
ngx     17853    RUNNING

>curl -I localhost
HTTP/1.1 200 OK
Server: nginx/1.23.4
Date: Mon, 03 Apr 2023 03:53:51 GMT
Content-Type: text/html
Content-Length: 615
Last-Modified: Tue, 28 Mar 2023 17:09:24 GMT
Connection: keep-alive
ETag: "64231f44-267"
Accept-Ranges: bytes

7.4 删除命名空间

尝试删除有容器、有镜像的命名空间。

>ctr ns rm test
ERRO[0000] unable to delete test                         error="namespace \"test\" must be empty, but it still has images, blobs, containers, snapshots on \"overlayfs\" snapshotter: failed precondition"
ctr: unable to delete test: namespace "test" must be empty, but it still has images, blobs, containers, snapshots on "overlayfs" snapshotter: failed precondition

报错了，因为 test 命名空间非空，需要先删除容器和镜像。

删除容器
>ctr -n test t kill ngx
>ctr  -n test t rm ngx
>ctr -n test c rm ngx

删除镜像
>ctr -n test i rm docker.io/library/nginx:alpine
docker.io/library/nginx:alpine

查看容器及镜像
>ctr -n test t ls ; ctr -n test c ls; ctr -n test i ls
TASK    PID    STATUS
CONTAINER    IMAGE    RUNTIME
REF TYPE DIGEST SIZE PLATFORMS LABELS

删除命名空间
>ctr ns rm test
test
>ctr ns ls
NAME    LABELS
default

7.5 命名空间的异同

Docker 其实也是默认调用的 containerd，事实上 Docker 使用的 containerd 下面的命名空间默认是 moby，而不是 default，所以假如我们有用 docker 启动容器，那么我们也可以通过 ctr -n moby 来定位下面的容器：

>ctr -n moby c ls
CONTAINER    IMAGE    RUNTIME

同样 Kubernetes 下使用的 containerd 默认命名空间是 k8s.io，所以我们可以使用 ctr -n k8s.io 来查看 Kubernetes 下面创建的容器。

>ctr -n k8s.io c ls
CONTAINER    IMAGE    RUNTIME

注意：这三者之间的 ns 是不同的，需要区分开。

containerd -> namespace(隔离) -> (和k8s里面的命名空间要区分开) -> namespace + cgroup + rootfs

8.补充知识点

后期使用 containerd 遇到问题解决方案总汇。

8.1 修改数据存储目录

containerd 数据存储目录主要是针对镜像文件的存储，考虑到空间问题，常常会修改这个目录。

containerd的配置文件中有如下两项配置：

root = "/var/lib/containerd"
state = "/run/containerd"

root配置的目录是用来保存持久化数据的目录，包括 content, snapshot, metadata 和 runtime。

停止服务并删除 container root目录，在启动服务：

>systemctl stop containerd
>rm -rf /var/lib/containerd
>systemctl start containerd

再次查看该目录

>tree -L 2 /var/lib/containerd/
/var/lib/containerd/
├── io.containerd.content.v1.content
│   └── ingest
├── io.containerd.metadata.v1.bolt
│   └── meta.db
├── io.containerd.runtime.v1.linux
├── io.containerd.runtime.v2.task
├── io.containerd.snapshotter.v1.btrfs
├── io.containerd.snapshotter.v1.native
│   └── snapshots
├── io.containerd.snapshotter.v1.overlayfs
│   └── snapshots
└── tmpmounts

11 directories, 1 file

/var/lib/containerd 的各个子目录很清晰的对应到了 content, snapshot, metadata 和 runtime，containerd 架构示意图中的子系统和组件如下：

因此，如果需要修改目录，修改 containerd 中的 root 目录即可。

>vim /etc/containerd/config.toml
...
root = "/data/containerd"
...

>systemctl restart containerd
root@containerd(192.168.199.101)~>tree -L 2 /data/containerd/
/data/containerd/
├── io.containerd.content.v1.content
│   └── ingest
├── io.containerd.metadata.v1.bolt
│   └── meta.db
├── io.containerd.runtime.v1.linux
├── io.containerd.runtime.v2.task
├── io.containerd.snapshotter.v1.btrfs
├── io.containerd.snapshotter.v1.native
│   └── snapshots
├── io.containerd.snapshotter.v1.overlayfs
│   └── snapshots
└── tmpmounts

--- EOF ---

posted @ 2023-04-03 10:46 hukey 阅读(677) 评论(1) 编辑收藏举报

刷新页面返回顶部

hukey

慢慢来比较快。