Docker技术-cgroup
分类： 虚拟化
Docker容器采用了linux内核中的cgroup技术来实现container的资源的隔离和控制。
关于cgroup我们需要了解的它的知识点：
1. 基本概念
cgroup涉及到几个概念如下：
cgroup：以某种方式，将某些任务和subsystem进行关联
subsystem：基于cgroup的资源管理器，可以看作一种资源（比如CPU，Memory， I/O等），实现对一个cgroup的task的调度和控制
hierarchy：对crgoups和subsystems以某种形式进行的组织，cgroup组织形式是树结构，subsystem会关联连接到hierarchy上。
上面的概念有点抽象，看个简单的例子就明白了，比如redhat官网的一个图：
上面的就是一个1个hierarchy，有两个subsystem（cpu和memory） attach上，其中的cgroups以tree的结构组织。
既然cgroup是什么以及结构弄清楚了，那到底cgroup如何实现的资源的管理控制，cgroup是和task（乜可以看作是系统中的进程）关联的，
这样不同的cgroup在subsystem中的资源控制下就能够分配到不同的份额或者设定不同的限制，同时可以统计监控资源的消耗情况。
2. 如何使用Cgroups
如果我们最原始的使用cgroup，不借助高级的docker方式，那么具体步骤如下：
To start a new job that is to be contained within a cgroup, using
the "cpuset" cgroup subsystem, the steps are something like:
1) mount -t tmpfs cgroup_root /sys/fs/cgroup
2) mkdir /sys/fs/cgroup/cpuset
3) mount -t cgroup -ocpuset cpuset /sys/fs/cgroup/cpuset
4) Create the new cgroup by doing mkdir's and write's (or echo's) in
the /sys/fs/cgroup virtual file system.
5) Start a task that will be the "founding father" of the new job.
6) Attach that task to the new cgroup by writing its PID to the
/sys/fs/cgroup/cpuset/tasks file for that cgroup.
7) fork, exec or clone the job tasks from this founding father task.
For example, the following sequence of commands will setup a cgroup
named "Charlie", containing just CPUs 2 and 3, and Memory Node 1,
and then start a subshell 'sh' in that cgroup:
mount -t tmpfs cgroup_root /sys/fs/cgroup
mkdir /sys/fs/cgroup/cpuset
mount -t cgroup cpuset -ocpuset /sys/fs/cgroup/cpuset
cd /sys/fs/cgroup/cpuset
mkdir Charlie
cd Charlie
/bin/echo 2-3 > cpuset.cpus
/bin/echo 1 > cpuset.mems
/bin/echo $$ > tasks
sh
# The subshell 'sh' is now running in cgroup Charlie
# The next line should display '/Charlie'
cat /proc/self/cgroup
3. 使用Docker，减少冗长细节的cgroup使用
虽然Docker给我们带来了极大的方便，但是我们还是需要了解一些cgroup的操作使用，这样才更加有信心处理各种问题，
3.1 使用cgroup-bin
一般操作系统没有默认安装这个工具，我们自己需要安装，提供了很多有趣而且很棒的命令：
lssubsys 列出包含subsystem的hierarchy
lscgroup 列出所有的cgroup
/proc/cgroups 列出了系统中cgroup的subsystem
/proc//cgroup 列出进程所属的cgroup，包含了cgroup的
3.2. Docker的结合
比如我们docker run了一个container，
先找出contianer的ID，
docker ps --no-trunc
根据上面找出的ID，找到对应的tasks ID，
cat /sys/fs/cgroup/cpu/docker//tasks
查看对应的cgroup
cat /proc//cgroup
4. 不同操作系统暴露的subsystem的区别
ubuntu就和redhat有所不同，redhat有10中cgroup subsystem
如果默认安装的ubuntu，比如14.04， 你会发现，没有net_cls和net_prio，具体如何搞出来，参看这个帖子
参考资料：
1. Linux Kernel Doc about Cgroups
2. Cannot find network subsystem in cgroup on Ubuntu 12.04 LTS
3. Redhat cgroup
4. Docker cgroup
