Docker cgroups 资源控制
一、CPU资源控制
- cgroups，是一个非常强大的1inux内核工具，他不仅可以限制被namespace隔离起来的资源，还可以为资源设置权、计算使用量、操控进程启停等等。所以cgroups（Control groups）实现了对资源的配额和度量。
二、cgroups四大功能
- 资源限制：可以对任务使用的资源总额进行限制
- 优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级
- 资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等
- 任务控制：cgroup可以对任务执行挂起、恢复等操作
2.1、设置cpu使用率上线
- Linux通过crs（Completely Fair scheduler，完全公平调度器）来调度各个进程对CpU的使用。crs默认的调度周期是100ms。
- 我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。
- 使用--cpu-period 即可设置调度周期，使用--cpu-quota即可设置在每个周期内容器能使用的cPU时间。两者可以配合使用。
CFS周期的有效范围是1ms～1s，对应的--cpu-period 的数值范围是1000~1000000。 - 而容器的CPU配额必须不小于1ms，即--cpu-quota的值必须>=1000。
示例：
docker run -itd --name c1 nginx:latest bash #创建容器
cd /sys/fs/cgroup/cpu/docker/05973674f25c4d6a908e713547dfda6a58f02022e6d0e5f79bf17f62be013db1/ #切换目录到容器相关配置目录
cat cpu.cfs_quota_us
-1
cat cpu.cfs_period_us
100000
#cpu.cfs_period_us:cpu分配的周期（微秒，所以文件名中用us表示），默认为100000
#cpu.cfs quota us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。如果设为50000，表示占用50000/100000=50%的CPU。
压力测试
docker exec -it c1 bash #登录容器
#写个死循环并运行
vi /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
chmod +x cpu.sh #给脚本权限
./cpu.sh #运行脚本
top #查看cpu使用率
创建容器并进行限制
docker run -itd --name c2 --cpu-quota 50000 centos:7
cd /sys/fs/cgroup/cpu/docker/b738328ca26c8fc29e14618d016ae61d36d4e39e3ba1a508d3bb6329eb0d7db0/
cat cpu.cfs_quota_us
50000
docker exec -it c2 bash #登录容器
#写个死循环并运行
vi /cpu.sh
#!/bin/bash
i=0
while true
do
let i++
done
chmod +x cpu.sh #给脚本权限
./cpu.sh #运行脚本
top #查看cpu使用率
对已存在的容器进行限制
直接修改/sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us文件即可
示例：
cd /sys/fs/cgroup/cpu/docker/05973674f25c4d6a908e713547dfda6a58f02022e6d0e5f79bf17f62be013db1/
echo "33000" >cpu.cfs_quota_us
cat cpu.cfs_quota_us
33000
#此时在进去容器执行之前创建好的脚本
docker exec -it c1 bash
./cpu.sh
top #查看
设置cpu资源占用比（设置多个容器时才有效）
- Docker 通过--cpu-shares指定CPU份额，默认值为1024，值为1024的倍数（可以是0.5倍）。
#创建两个容器为c1和c2，若只有这两个容器，设置容器的权重，使得c1和c2的CPU资源占比为1/3和2/3。
docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos：7
#分别进入容器，进行压力测试
yum install -y epel-release #安装在线源
yum install -y stress #安装检测软件
stress -c4 #产生四个进程，每个进程都反复不停的计算随机数的平方根
#查看容器运行状态（动态更新）
docker stats
设置容器绑定指定的CPU
#先分配虚拟机4个CPU核数
docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash
#--cpuset-cpus：指定绑定核数可以是多个
#注意这里的核号是从0开始也就是说我指定的1，3代表第二个核和第四个核
#进入容器，进行压力测试
yum install -y epel-release
yum install stress -y
stress -c 4
#执行top命令再按1查看cPU使用情况。
2.2、对内存使用的限制
限制容器可以使用的最大内存
-m（--memory=）：用于限制容器可以使用的最大内存
docker run -itd --name c4 -m 512m centos:7 /bin/bash
docker stats
限制可用的swap大小
--memory-swap :限制可用的swap大小
#强调一下，--memory-swap是必须要与--memory一起使用的。
#正常情况下，--memory-swap的值包含容器可用内存和可用swap。
#所以-m 300m --memory-swap=1g的含义为：容器可以使用300M的物理内存，并且可以使用700M（1G-300）的swap。
#如果--memory-swap 设置为0或者不设置，则容器可以使用的swap大小为-m值的两倍。
#如果--memory-swap 的值和-m值相同，则容器不能使用swap。
#如果--memory-swap值为-1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap容器就可以使用多少）。
2.3、对磁盘Io配额控制（blkio）的限制
--device-read-bps：限制某个设备上的读速度bps（数据量），单位可以是kb、mb（M）或者gb。
例：
docker run -itd --name test6 --device-read-bps /dev/sda:1mb centos:7 /bin/bash
--device-write-bps：限制某个设备上的写速度bps（数据量），单位可以是kb、mb（M）或者gb。
例：
docker run -itd --name c6 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
--device-read-iops：限制读某个设备的iops（次数）
--device-write-iops：限制写入某个设备的iops（次数）
创建容器，并限制写速度
docker run -itd --name c6 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
docker exec -it c6 bash
#通过dd命令来验证写的速度
dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct
5+0 records in
5+0 records out
52428800 bytes (52 MB) copied, 50.0015 s, 1.0 MB/s
清除docker占用的磁盘空间
docker system prune -a #可用于清理磁盘，删除关闭的容器、无用的数据卷和网络
总结
对cpu的限制参数
docker run -cpu-period #设置调度周期时间1000~1000000
-cpu-quota #设置容器进程的CPU占用时间，要与调度周期时间成比例
--cpu-shares #设置多个容器之间的CPU资源占用比
--cpuset-cpus #绑核（第一个CPU从0开始）
对内存的限制
-m 物理内存 [--memory-swap=总值]
对磁盘IO的限制
--device-read-bps 设备文件:1mb/1M #读速度
--device-write-bps #写速度
--device-read-iops #读次数
--device-write-iops #写次数
docker system prune -a #释放无用的资源
