容器核心技术Cgroups和Namespace
| 什么是Cgroups简单一句话描述Cgroups:Cgroups是Linux内核提供的一种可以限制单个进程或者多个进程所使用资源的机制,可以对 cpu,内存等资源实现精细化的控制。Cgroups全称是Control Groups,Cgroup为每种可以控制的资源都定义了一个子系统。它的子系统有:
容器技术的产生就是因为Linux的Namespace的存在,在Linux系统里要想运行多个容器,那么容器与宿主机之间、容器与容器之间必须要做到相互隔离,它们会认为自己拥有了整个硬件以及软件资源。可以说如果没有Namespace技术,就不会有容器技术。
- cpu子系统:限制进程的cpu使用率;
- cpuacct子系统:统计Cgroups中进程cpu使用报告;
- cpuset子系统:为Cgroups中的进程分配单独的cpu节点或者内存节点;
- memory子系统:限制进程的memory使用量;
- blkio子系统:限制进程的块设备io;
- devices子系统:控制进程能够访问某些设备;
- net_cls子系统:标记cgroups中进程的网络数据包,然后可以使用tc模块(traffic control)对数据包进行控制;
- freezer子系统:挂起或者恢复cgroups中的进程;
ls /sys/fs/cgroup/
| 理解Cgroups如何限制资源在cpu子系统下创建目录
执行一个耗费cpu资源的进程cd /sys/fs/cgroup/cpu
mkdir container
ls container #下面会自动生成诸多文件,这些文件就是资源限制文件
查看quota_us和period_uswhile : ; do : ; done & #这样会做一个死循环进程,会导致cpu达到100%
[1] 39963
两个值组合在一起,就达到了一个限制的作用,修改上面两个值[root@localhost container]# cat cpu.cfs_quota_us ##-1表示未做任何限制
-1
[root@localhost container]# cat cpu.cfs_period_us ##这里的100000为us,也就是100ms
100000
echo 30000 > cpu.cfs_quota_us ##改为30ms,意思是100ms内,将cpu的限额最多给到30ms,也就是30%
再将上面的死循环进程id,做一下限制
echo 39963 > tasks
再次用top查看cpu使用率,会发现最终会使用30%,这就是Cgoups的限制。
| 总结CgroupsLinux Cgroups的设计还是比较易用的,简单粗暴地理解呢,它就是一个子系统目录加上一组资源限制文件的组合。而对于Docker等Linux容器项目来说,它们只需要在每个子系统下面,为每个容器创建一个控制组(即创建一个新目录),然后在启动容器进程之后,把这个进程的PID填写到对应控制组的tasks文件中就可以了。而至于在这些控制组下面的资源文件里填上什么值,就靠用户启动容器时的参数指定了。| 什么是NamespaceNamespace(命名空间)是一种隔离机制,用于将全局系统资源划分为多个独立的逻辑部分,以便不同的进程或应用程序之间能够使用不同的资源名称或标识符,避免冲突和混淆。Linux的Namespace是一种由内核直接提供的全局资源封装,它是内核针对进程设计的访问隔离机制。进程在一个独立的 Linux Namespace中会认为它拥有这台 Linux 主机上的一切资源,不仅文件系统是独立的,还有着独立的 PID 编号(比如拥有自己的 0 号进程,即系统初始化的进程)、UID/GID 编号(比如拥有自己独立的 root 用户)、网络(比如完全独立的 IP 地址、网络栈、防火墙等设置),等等。| Namespace分类事实上,Linux的Namespace设计最早只针对文件系统,但到了后来,要求系统隔离其他访问操作的呼声就愈发强烈,从 2006 年起,内核陆续添加了UTS、IPC等命名空间隔离,后续Linux命名空间支持了以下八种资源的隔离(内核的官网Kernel.org上仍然只列出了前六种,从 Linux 的 Man 命令能查到全部八种):
命名空间 | 说明 | 内核版本 |
Mount | 文件系统隔离 | 2.4.19 |
UTS | 主机的Hostname、Domain names | 2.6.19 |
IPC | 隔离进程间通信的渠道 | 2.6.19 |
PID | 隔离进程编号,无法看到其它命名空间的PID | 2.6.24 |
Network | 隔离网络资源,如网卡、网络栈、IP地址、端口 | 2.6.29 |
User | 隔离用户和用户组 | 3.8 |
Cgroup | 隔离Cgroup信息,进程有自己的Cgroup的根目录视图 | 4.6 |
Time | 隔离系统时间 | 5.6 |