美团网 KVM虚拟化公开课学习笔记

KVM优化技术，美团开放平台--邱剑

基于KVM现有选项做一些优化。视频地址：http://www.osforce.cn/course/77/learn#lesson/80

CPU调优：

1、Context switch（用户态到内核态的优化）。ring0->nernel mode,ring 3->user mode;

设置：宿主机BIOS中开启intel VT-X

2、缓存优化 Cache-Node Binding

将qemu进程绑定到特定的CPU node或者core上---避免L2/L3Cache miss

Node binding VS core binding

设置：task set

Memory调优

地址Address转换和物理空间Space优化

1、Addressing-EPT(SLAT)硬件加速

2、Addressing-HugePage 降低Page table尺寸，降低查找缓存（TLB）的Cache-miss,加速VM内存地址转换；默认PageSize为4KB/ HugePage size为2M；

Transparent hugepage:kernel进程khugepaged周期性扫描内存，自己主动将地址连续可合并的普通4KB page合并为2MB Hugepage.社会自方法：sysctl -w sys.kernel.mm.transparent_huge....

3、对空间的优化 Space-KSM：kernel same-page merging

kernel进程ksmd周期性扫描内存，将内容同样的Page合并，降低物理内存使用量

I/O调优：

1、Storage 2、Network间数据交换借口，简化流程

full virtualization技术无需改动Guest OS，则不存在虚拟化层和Guest OS层的特别配合导致影响效率;

virtio:半虚拟化I/O设备框架。标准化Guest和host间数据交换借口。简化流程。降低内存拷贝。提升虚拟机I/O效率

1、Storage

virtio-blk:基于virtio框架的虚拟PCI磁盘设备；

/dev/vdx

virtio-scsi:基于virtio框架的虚拟SCSI磁盘设备：/dev/sdx

缓存模式调整

Native AIO:kernel AIO 2%~3%的优化性能。命令行參数中改动；

块设备IO调度器优化（通过sysctl -w sys.block.sdb.queue.scheduler...）：

Network优化：

1、virtio-net：基于virtio框架的虚拟以太网设备

vhost_net优化：内核进程vhost_XXXX

其它优化选项：

1、CPU：scheduler

2、Memory:NUMA

3、Storage:PCI-passthrough

4、Network:SR-IOV,PCI-Kernel

5、提升硬件指标--终级方案