Linux control groups控制组的资源限制
在一个容器，如果不对其做任何资源限制，则宿主机会允许其占用无限大的内存空间，有时候会因为代码bug程序会一直申请内存，直到把宿主机内存占完，为了避免此类的问题出现，
宿主机有必要对容器进行资源分配限制，比如CPU、内存等，Linux Cgroups的全称是Linux Control Groups，它最主要的作用，就是限制一个进程组能够使用的资源上限，包括CPU、内存、磁盘、网络带宽等等。此外，还能够对进程进行优先级设置，以及将进程挂起和恢复等操作。
docker 使用cgrqup控制资源，K8S 里面也有limit（使用上限），cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段.
Cgroups在内核层默认已经开启，从centos和ubuntu 对比结果来看，显然内核较新的ubuntu 支持的功能更多。 [root@centos8 ~]#grep CGROUP /boot/config-4.18.0-147.el8.x86_64 [root@ubuntu1804 ~]#grep CGROUP /boot/config-4.15.0-29-generic cgroups 中内存模块： [root@ubuntu1804 ~]#grep MEMCG /boot/config-4.15.0-29-generic CONFIG_MEMCG=y CONFIG_MEMCG_SWAP=y # CONFIG_MEMCG_SWAP_ENABLED is not set CONFIG_SLUB_MEMCG_SYSFS_ON=y CGroup的子系统 blkio -- 这个子系统为块设备设定输入/输出限制，比如物理设备（磁盘，固态硬盘，USB 等等）。 cpu -- 这个子系统使用调度程序提供对 CPU 的 cgroup 任务访问。 cpuacct -- 这个子系统自动生成 cgroup 中任务所使用的 CPU 报告。 cpuset -- 这个子系统为 cgroup 中的任务分配独立 CPU（在多核系统）和内存节点。 devices -- 这个子系统可允许或者拒绝 cgroup 中的任务访问设备。 freezer -- 这个子系统挂起或者恢复 cgroup 中的任务。 memory -- 这个子系统设定 cgroup 中任务使用的内存限制，并自动生成由那些任务使用的内存资源报告。 net_cls -- 这个子系统使用等级识别符（classid）标记网络数据包，可允许 Linux 流量控制程序（tc）识别从具体 cgroup 中生成的数据包。 ns -- 名称空间子系统 perf_event：增加了对每 group 的监测跟踪的能力，可以监测属于某个特定的 group 的所有线程以及运行在特定CPU上的线程
一、对CPU使用率的控制 1、使用stress工具测试CPU 和内存使用情况 mkdir /opt/stress vim /opt/stress/Dockerfile FROM centos:7 RUN yum -y install wget RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo #epel源，可以使用扩展软件包（stress） RUN yum -y install stress #可以指定产生线程，使用循环语句，测试用'
cd /opt/stress/ systemctl restart docker.service #建议重启docker，不然下面的操作可能会失败，卡在wget docker build -t crntos:stress . #生成镜像 ... ... Successfully built 7e69cc4d1b07 Successfully tagged crntos:stress docker images #以下可以使用该镜像为基础产生的容器进行测试：
2、设置CPU资源占用比（设置多个容器时才有效） Docker通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数。 资源分配结果取决于同时运行的其他容器的CPU分配和容器中进程运行情况。 cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器的CPU份额来确定有多少CPU资源分配给它。 创建两个容器为cpu512和cpu1024， 若只有这两个容器，设置容器的权重，使得cpu512和cpu1024的CPU资源占比为1/3和2/3 docker run -itd --name cpu512 --cpu-shares 512 crntos:stress stress -c 10 #-c 10表示产生10个子线程，测试用 docker run -itd --name cpu1024 --cpu-shares 1024 crntos:stress stress -c 10 #查看容器的资源使用状态（动态更新） docker stats 资源是用cadvisor收集的
3、限制 CPU 使用周期速率 Docker 提供了--cpu-period、--cpu-quota两个参数控制容器可以分配到的CPU时钟周期。 --cpu-period（周期）是用来指定容器对CPU的使用要在多长时间内做一次重新分配。默认将cpu所有容器在一个周期里面全都设置。 --cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器默认是10万。与–cpu-shares不同的是,这种配置是指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。 --cpu-quota 的值默认为-1，表示不做控制。--cpu-period 和 --cpu-quota参数一般联合使用。 cat /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us #-1表示不做控制 #例如:容器进程需要每Ⅰ秒使用单个cPU的 0.2秒时间，可以将 --cpu-period 设置为1000000(即1秒)，cpu-quota 设置为200000 0.2秒)。 #当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period 设置为 100000(即 0.1秒)，cpu-quota 设置为200000 （0.2秒)。 docker run -itd --name test01 --cpu-period 100000 --cpu-quota 200000 crntos:stress #也可以直接去修改文件vim /sys/fs/cgroup/cpu/docker/[容器ID]/cpu.cfs_quota_us #法一：进入指定容器查看 docker exec -it test01 bash cd /sys/fs/cgroup/cpu cat cpu.cfs_period_us cat cpu.cfs_quota_us #法二：docker inspect 容器ID docker inspect 6ccc4ddcb6ad 4、限制 CPU 内核使用 可以通过配置，使得某些程序独享 CPU 内核，以提高其处理速度 对多核CPU的服务器，Docker还可以控制容器**运行使用哪些CPU内核**，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。 docker run -itd --name cpu1 --cpuset-cpus 0-1 crntos:stress #执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的 cgroup的 CPU内核配置如下 cat /sys/fs/cgroup/cpuset/docker/[容器ID]/cpuset.cpus docker exec -it cpu1 /bin/bash -c "stress -c 10"
二、对内存限额 与操作系统类似，容器可使用的内存包括两部分：物理内存和 Swap -m 或 --memory：设置内存的使用限额 –memory-swap：设置内存＋swap 的使用限额 docker run -itd -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M #--vm 1：启动1个内存工作线程 #--vm-bytes 280M：每个线程分配280M内存 #默认情况下，容器可以使用主机上的所有空闲内存。 #与 CPU 的cgroups 配置类似，Docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器完整的 ID>/memory.limit_in_bytes docker run -itd -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 280M #如果让工作线程分配的内存超过300M，分配的内存超过了限额，stress线程会报错，容器退出 '注意！一旦容器Cgroup使用的内存超过了限制的容量，Linux内核就会尝试收回这些内存' '如果仍旧无法控制内存使用在这个设置的范围之内，就会杀死该进程！
三、对-Block IO的限制 默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight参数来改变容器 block IO的优先级。 --blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。
在下面的例子中，容器A读写磁盘的带宽是容器B的两倍。 #容器A docker run -it --name container_A --blkio-weight 600 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight #容器B docker run -it --name container_B --blkio-weight 300 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight
四、bps 和iops 的限制 bps 是byte per second，每秒读写的数据量。 iops是io per second，每秒IO的次数。 可通过以下参数控制容器的bps 和iops: –device-read-bps，限制读菜个设备的bps。 –device-write-bps，限制写某个设备的bps。 –device-read-iops，限制读某个设备的iops。 –device-write-iops，限制写某个设备的iops。
#下面的示例是限制容器写/dev/sda 的速率为5MB/s docker run -it --device-write-bps /dev/sda:5MB centos:stress dd if=/dev/zero of=test bs=1M count=100 oflag=direct 100+0 records in 100+0 records out 104857600 bytes (105 MB) copied, 20.0018 s, 5.2 MB/s #通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的。 #在容器中写文件相当子对host /dev/sda进行写操作。另外，oflag=direct指定用direct IO 方式写文件，这样--device-write-bps才能生效。 #结果表明限速 5MB/s左右。作为对比测试，如果不限速，结果如下。 docker run -it centos:stress dd if=/dev/zero of=test bs=1M count=100 oflag=direct 100+0 records in 100+0 records out 104857600 bytes (105 MB) copied, 0.0470107 s, 2.2 GB/s
总结
Cgroups如何工作的？
CPU —>VCPU–>以进程的方式体现在workstation环境(docker环境中) —》docker表现形式是容器，–>Vcpu以进程的方式控制容器–》容器中的应用需要的是服务进程支持–》宿主机内核中cpu可以被cgroup管理（通过分配资源手段）–》linux内核中的cgroup可以直接控制VCPU的资源分配，而VCPU在workstation中是以进程的方式管理docker容器的，所以，也可以认为Cgroups在直接/间接管理docker容器中的应用
Cgroup对cpu限制小结
Cgroups 控制的是内核资源 —> 间接控制vw中vcpu的资源 —> 控制着vwM中进程资源 —> docker容器的资源 —> docker容器内应用的资源
控制的主体包括:CPU、内存、I/O
主要介绍的是CPU资源的控制而CPU资源控制的方式主要有:
①cpu-shares权重指的是多个容器使用同一个CPU的情况下，被分配到CPU资源的机会占比
②cpu-period周期指的是，CPU在给于当前管理、控制的容器分配资源时，CPU的分配周期，默认是1s，此项配置，可以在运行时直接指
③cpuset-cpus指定容器，仅能使用指定的CPU，按照CPU的下标来表示
Cgroup对内存的限制小结
Cgroups 对于内存的限制，主要体现在以下两个部分：
①内存使用上限（硬限制）
②内存+swap使用上限（硬限制)
类比于K8s中的资源限制手段，也是使用的cgroups的技术，体现为limit
respones:
request: #分配的初始资源
cpu：100m
memory：100m
limits：
cpu：300m
memory：200m
资源限制的主要类型 CPU权重shares、 quota、 cpuset 磁盘BPS、 TPS限制， 指定使用哪个磁盘、磁盘分区 内存 -m - swap 内存、交换分区
资源限制的几种方式 build构建镜像时，可以指定该镜像的资源限制 run将镜像跑为容器的时候，可以指定容器的资源限制 容器启动之后可以在宿主机对应容器的目录下，修改资源限制，然后重载 /sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以 资源限制的状态查询 docker inspect 镜像ID/容器ID 直接查看宿主机对应容器ID资源限制的文件 cgroup资源docker 原理之一， namespaces 6个名称空间像时，可以指定该镜像的资源限制 run将镜像跑为容器的时候，可以指定容器的资源限制 容器启动之后可以在宿主机对应容器的目录下，修改资源限制，然后重载 /sys/ fs/cgroup/* (cpu、b1k、 mem) /docker/容 器ID/ ——>修改对应的资源限制文件参数就可以
