Lxc容器基本用法
你将学到什么
- 如何安装LXC
- 如何创建LXC容器
- 如何管理LXC容器
- 如何查询进程所属Namespace
- 如何给LXC容器添加网卡
- 如何限制LXC容器资源
环境
x64 Ubuntu 14.04.3 LTS
安装LXC
### 安装LXC软件包
# sudo apt-get install lxc
### 检查内核是否支持LXC
# lxc-checkconfig
创建LXC容器
### 列举容器模板脚本
$ ls /usr/share/lxc/templates
lxc-alpine lxc-centos lxc-fedora lxc-oracle lxc-ubuntu-cloud
lxc-altlinux lxc-cirros lxc-gentoo lxc-plamo
lxc-archlinux lxc-debian lxc-openmandriva lxc-sshd
lxc-busybox lxc-download lxc-opensuse lxc-ubuntu
### 打印模板脚本使用说明
$ /usr/share/lxc/templates/lxc-ubuntu -h
### 创建ubuntu容器
$ sudo lxc-create -n <container-name> -t ubuntu
### 创建指定版本ubuntu容器，'--'表示后面的参数将传递给模板脚本
$ sudo lxc-create -n <container-name> -t ubuntu -- -r xenial
### 第一次创建容器，如果创建结束后没有默认用户名密码提示，使用chroot命令启动容器的rootfs来添加登入用户名和密码，容器对应的rootfs位于/var/lib/lxc/<container-name>/rootfs
- 容器配置样例
lxc.mount.auto = proc:mixed sys:ro
lxc.tty = 4
lxc.pts = 1024
lxc.devttydir = lxc
lxc.arch = x86_64
lxc.seccomp = /usr/share/lxc/config/common.seccomp
lxc.cgroup.devices.deny = a
lxc.cgroup.devices.allow = c *:* m
lxc.cgroup.devices.allow = b *:* m
lxc.cgroup.devices.allow = c 1:3 rwm
lxc.cgroup.devices.allow = c 1:5 rwm
lxc.cgroup.devices.allow = c 1:7 rwm
lxc.cgroup.devices.allow = c 5:0 rwm
lxc.cgroup.devices.allow = c 1:8 rwm
lxc.cgroup.devices.allow = c 1:9 rwm
lxc.cgroup.devices.allow = c 136:* rwm
lxc.cgroup.devices.allow = c 5:2 rwm
lxc.utsname = test
lxc.network.type = veth
lxc.network.flags = up
lxc.network.link = lxcbr0
lxc.network.hwaddr = 00:16:3e:88:f8:f6
lxc.network.type = veth
lxc.network.flags = up
lxc.network.link = br-mgmt
lxc.network.hwaddr = 00:16:3e:88:f8:e6
lxc.cap.drop = mac_admin
lxc.cap.drop = mac_override
lxc.cap.drop = setfcap
lxc.cap.drop = sys_module
lxc.cap.drop = sys_nice
lxc.cap.drop = sys_pacct
lxc.cap.drop = sys_rawio
lxc.cap.drop = sys_time
lxc.hook.clone = /usr/share/lxc/hooks/clonehostname
lxc.rootfs = /var/lib/lxc/<container-name>/rootfs
管理LXC容器
### 列举容器
$ sudo lxc-ls --fancy
### 运行容器
$ sudo lxc-start -n centos -d
### 打开容器控制台
$ sudo lxc-console -n centos
### 关闭和删除容器
$ sudo lxc-stop -n <container-name>
$ sudo lxc-destroy -n <container-name>
### 克隆容器
$ sudo lxc-clone <orgi-container-name> <new-container-name>
Namespace查询
### 根据进程PID，查询/proc/<PID>/ns目录，相同名字的'[]'内数字不同，表示两进程不在同一命名空间下，如下：
### 容器内
# ls -l /proc/1/ns/
total 0
lrwxrwxrwx 1 root root 0 Feb 26 22:00 ipc -> ipc:[4026532525]
lrwxrwxrwx 1 root root 0 Feb 26 22:00 mnt -> mnt:[4026532523]
lrwxrwxrwx 1 root root 0 Feb 26 22:00 net -> net:[4026532528]
lrwxrwxrwx 1 root root 0 Feb 26 22:00 pid -> pid:[4026532526]
lrwxrwxrwx 1 root root 0 Feb 26 22:00 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Feb 26 22:00 uts -> uts:[4026532524]
### 容器外
# ls -l /proc/1/ns
total 0
lrwxrwxrwx 1 root root 0 Feb 27 10:58 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 Feb 27 10:58 mnt -> mnt:[4026531840]
lrwxrwxrwx 1 root root 0 Feb 27 10:58 net -> net:[4026531957]
lrwxrwxrwx 1 root root 0 Feb 27 10:58 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 Feb 27 10:58 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Feb 27 10:58 uts -> uts:[4026531838]
LXC容器添加网卡
- 创建网桥
### 在宿主机上创建网桥，并分配IP，绑定到此网桥的LXC容器网卡IP都位于此网段内
$ sudo brctl addbr br-mgmt
$ sudo ip addr add 10.0.0.1/24 dev br-mgmt
$ sudo ifconfig br-mgmt up
- 修改容器配置文件
### 关闭容器
$ sudo lxc-stop -n <container-name>
### 修改容器配置文件，添加如下内容，其中lxc.network.link为我们刚创建的网桥，lxc.network.hwaddr地址不能重复
### ···
### lxc.network.type = veth
### lxc.network.flags = up
### lxc.network.link = br-mgmt
### lxc.network.hwaddr = 00:16:3e:88:f8:e6
### ···
$ sudo vim /var/lib/var/lib/lxc/<container-name>/config
### 启动容器
$ sudo lxc-start -n <container-name>
- 为网卡在容器内新增网络配置文件
### 登入容器
$ sudo lxc-console -n <container-name>
### 在容器中新增配置文件，DEVICE为新增网卡名，IPADDR不重复即可，HOSTNAME为当前容器主机名，HWADDR为新增网卡MAC地址
### DEVICE=eth1
### BOOTPROTO=none
### ONBOOT=yes
### HOSTNAME=test
### NM_CONTROLLED=no
### TYPE=Ethernet
### IPADDR=10.0.0.11
### NETMASK=255.255.255.0
### HWADDR=00:16:3e:88:f8:e6
$ sudo vim /etc/sysconfig/network-scripts/ifcfg-eth1
LXC容器开机自启动
### 修改容器配置文件，添加如下内容
### lxc.start.auto = 1
### lxc.start.delay = 15
### lxc.group = onboot
### 第一项表示开启自启动，第二项表示启动延迟，第三项表示自启动顺序
# vim /var/lib/var/lib/lxc/<container-name>/config
### 自启动onboot组的容器
# lxc-autostart -g onboot
LXC容器资源管理
### 设置LXC容器资源，使用lxc-cgroup命令设置的参数在容器重启后就会被重置
# lxc-cgroup -n <container-name> state-object [value]
### 查询LXC容器Cgroup，不加[value]就是查询参数的当前值
# lxc-cgroup -n <container-name> state-object
CPU资源
指定CPU
# lxc-cgroup -n <container-name> cpuset.cpus [value]
测试程序
#!/usr/bin/python
i = 0
while True:
i = i + 1
在容器中执行
# python deadloop.py
在主机中使用top命令查询，然后按下'1'键显示CPU列表会发现Cpu0已经100%了
top - 14:54:08 up 1 day, 2:37, 4 users, load average: 0.21, 0.07, 0.06
Tasks: 160 total, 2 running, 158 sleeping, 0 stopped, 0 zombie
%Cpu0 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 : 0.0 us, 0.3 sy, 0.0 ni, 99.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 2048452 total, 30436 free, 185968 used, 1832048 buff/cache
在宿主机执行
# lxc-cgroup -n web cpuset.cpus 1
观察top命令的显示会发现Cpu1变成100%了
top - 14:56:53 up 1 day, 2:40, 4 users, load average: 0.94, 0.45, 0.21
Tasks: 163 total, 2 running, 161 sleeping, 0 stopped, 0 zombie
%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
%Cpu1 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 2048452 total, 34072 free, 186416 used, 1827964 buff/cache
KiB Swap: 2097148 total, 2096760 free, 388 used. 1800156 avail Mem
设置CPU使用率
# lxc-cgroup -n <container-name> cpu.cfs_quota_us [value]
内存资源
# lxc-cgroup -n <container-name> memory.limit_in_bytes [value]
测试程序
#!/usr/bin/python
l = []
while True:
l.append('fwd')
在容器中执行
# python deadloop.py
过会进程就会因为内存问题而被Kill了
# python deadloop.py
Killed
在宿主机执行
# lxc-cgroup -n web memory.limit_in_bytes 10485760
然后在容器中再次执行
# python deadloop.py
然后在宿主机执行top命令会发现，进程的内存使用率被限制了（就是0.2）
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10122 root 20 0 765944 4340 176 R 94.7 0.2 0:35.79 python
问题处理
- lxc-execute执行有如下提示
# lxc-execute -n ubuntu -- /bin/bash
lxc-execute: execute.c: execute_start: 67 Failed to find an lxc-init or init.lxc
lxc-execute: sync.c: __sync_wait: 57 An error occurred in another process (expected sequence number 5)
lxc-execute: start.c: __lxc_start: 1346 Failed to spawn container "ubuntu".
第一种解决办法
### 使用高版本ubuntu，例如16.04 TLS
# cat /etc/issue
Ubuntu 16.04 LTS \n \l
### 拷贝/usr/sbin/init.lxc脚本到容器中
# cp /usr/sbin/init.lxc /var/lib/lxc/<container-name>/rootfs/usr/sbin/
### 拷贝lxc库到容器中
# cp /usr/lib/x86_64-linux-gnu/liblxc.so.1.2.0 /var/lib/lxc/<container-name>/rootfs/usr/lib/x86_64-linux-gnu/
# cd /var/lib/lxc/<container-name>/rootfs/usr/lib/x86_64-linux-gnu/
# ln -s liblxc.so.1.2.0 liblxc.so.1
第二种解决办法
### 在容器中安装lxc
# apt-get install lxc
