[zz]淘宝子团关于kvm 调优的分享
今天在杭州参加淘宝嘉年华技术沙龙,主题是虚拟化和云计算,三个讲演:
- 淘宝网子团分享淘宝kvm技术的使用
- 华为的杨晓伟介绍虚拟化技术
- 阿里云郑永升介绍弹性云计算技术
其中KVM 调优,三点值得关注的:
1、Kernel SamePage Merging(KSM)
在CentOS下KSM是打开的,Debian下KSM是关闭的。KSM的原理,是多个进程中,Linux将内核相似的内存页合并成一个内存页。这 个特性,被KVM用来减少多个相似的虚拟机的内存占用,提高内存的使用效率。由于内存是共享的,所以多个虚拟机使用的内存减少了。这个特性,对于虚拟机使 用相同镜像和操作系统时,效果更加明显。
但是,事情总是有代价的,使用这个特性,都要增加内核开销,用时间换空间。所以为了提高效率,可以将这个特性关闭。方法是:
两种关闭方式:
echo 0 > /sys/kernel/mm/ksm/run
或者
chkconfig ksm off chkconfig ksmtuned off
另外,如果要使用KSM特性,也可以对参数进行调优。
具体参见:
2、KVM Huge Page Backed Memory
intel 的X86 CPU通常使用4Kb内存页,当是经过配置,也能够使用巨页(huge page):
(4MB on x86_32, 2MB on x86_64 and x86_32 PAE)
使用巨页,KVM的虚拟机的页表将使用更少的内存,并且将提高CPU的效率。最高情况下,可以提高20%的效率!
使用方法,需要三部:
mount -t hugetlbfs hugetlbfs /dev/hugepages #保留一些内存给巨页 sysctl vm.nr_hugepages=516 #给 kvm 传递参数 hugepages qemu-kvm - qemu-kvm -mem-path /dev/hugepages
其中第三步,也可以在配置文件里加入:
<memoryBacking> <hugepages/> </memoryBacking>
验证方式,当虚拟机正常启动以后,在虚拟机里查看:
cat /proc/meminfo |grep -i HugePages_Free
3、sheepdog 存储的使用
taobao有已经在sheepdog上做了很多工作,代码贡献量已经排在最前面。
有几个重要的feature改进和很多bug fix。
taobao已经在95个物理机和950个虚拟机的环境下,做了测试。
具体可以参见:
这是一个令人兴奋的改进。