KVM+WEB模式

 

公司机房有一台2U的服务器（64G内存，32核），由于近期新增业务比较多，测试机也要新增，服务器资源十分有限。所以打算在这台2U服务器上部署kvm虚拟化，虚出多台VM出来，以应对新的测试需求。
当KVM宿主机越来越多，需要对宿主机的状态进行调控，决定采用WebVirtMgr作为kvm虚拟化的web管理工具，图形化的WEB，让人能更方便的查看kvm 宿主机的情况和操作
WebVirtMgr是近两年来发展较快，比较活跃，非常清新的一个KVM管理平台，提供对宿主机和虚机的统一管理，它有别于kvm自带的图形管理工具（virtual machine manager），让kvm管理变得更为可视化，对中小型kvm应用场景带来了更多方便。
WebVirtMgr采用几乎纯Python开发，其前端是基于Python的Django，后端是基于Libvirt的Python接口，将日常kvm的管理操作变的更加的可视化。

WebVirtMgr特点
操作简单，易于使用
通过libvirt的API接口对kvm进行管理
提供对虚拟机生命周期管理
WebVirtMgr 功能

宿主机管理支持以下功能
CPU利用率
内存利用率
网络资源池管理
存储资源池管理
虚拟机镜像
虚拟机克隆
快照管理
日志管理
虚机迁移

虚拟机管理支持以下功能
CPU利用率
内存利用率
光盘管理
关/开/暂停虚拟机
安装虚拟机
VNC console连接
创建快照

下面对部署过程进行记录，希望能帮助到有用到的朋友们。
这里我将webvirtmgr服务器和kvm服务器放在同一台机器上部署的，即单机部署
系统：Centos 6.8
内存:64G
CPU:32核
ip：192.168.1.17（内网），111.101.186.163（外网）

一、首先要安装KVM虚拟化环境，参考下面的一篇博客进行安装：

kvm虚拟化管理平台WebVirtMgr部署-虚拟化环境安装-完整记录(0)

二、Kvm的管理工具webvirtmgr安装和使用

1）安装支持的软件源
[root@openstack ops]#yum -y install http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm

2）安装相关软件
---------------------------------------------------------------------------------------------------------------------
如果报错说没有下面安装的某些软件，则下载http://pan.baidu.com/s/1bX3vkE （密码：6ucs） 
将下载的yum.tar.gz解压后的文件替换到/etc/yum.repos.d目录下，然后执行yum clean all && yum makecache
---------------------------------------------------------------------------------------------------------------------
[root@openstack ops]#yum -y install git python-pip libvirt-python libxml2-python python-websockify supervisor nginx       （若是centos7系统，需要先执行"yum -y install epel-release"）

3）从git-hub中下载相关的webvirtmgr代码
[root@openstack ops]# cd /usr/local/src/
[root@openstack src]# git clone git://github.com/retspen/webvirtmgr.git    （下载地址：https://pan.baidu.com/s/1pLS3kCj      获取密码：8efm）

4）安装webvirtmgr
[root@openstack src]# cd webvirtmgr/
[root@openstack webvirtmgr]# pip install -r requirements.txt

5）安装数据库
[root@openstack webvirtmgr]# yum install python-sqlite2          //默认情况下，centos系统一般会自带sqlite软件（执行sqlite3 命令，不报错就说明已经安装了）

6）对django进行环境配置
[root@openstack webvirtmgr]#pwd
/usr/local/src/webvirtmgr
[root@openstack webvirtmgr]#./manage.py syncdb           //默认是python执行，如下报错，换用其他版本的python
-------------------------------------------------- ---------------------------- 
注意此处用默认的python执行上面命令，一般会报错，如下：
ImportError: No module named django.core.management

这个一般是由于python版本引起的，因为系统自带有好几个版本的python
[root@openstack webvirtmgr]# python       //按Tab键自查找
python python2.6 
python2 python2.6-config python-config
[root@openstack webvirtmgr]# python -V
Python 2.6.6

由此可看出，系统默认的Python版本是2.6.6
说明上面命令默认是python2.6执行的

既然使用python2.6执行上面的命令报错，那就换用其他版本python2执行（如果当前是python3.3.0，那么就将下面的/usr/bin/python2换成/usr/bin/python2.6）
[root@openstack webvirtmgr]# /usr/bin/python2 manage.py syncdb     //最终发现使用python2执行这个命令就不报错了 
............
............ 
You just installed Django's auth system, which means you don't have any superusers defined.
Would you like to create one now? (yes/no): yes
Username (leave blank to use 'root'): admin
Email address: wangshibo@163.com
Password:*********
Password (again):*********
--------------------- --------------------- --------------------- --------------------- 
[root@openstack webvirtmgr]#/usr/bin/python2 manage.py collectstatic          //生成配置文件（同样使用python2版本执行，不要使用默认的python执行）
WARNING:root:No local_settings file found.

You have requested to collect static files at the destination
location as specified in your settings.

This will overwrite existing files!
Are you sure you want to do this?

Type 'yes' to continue, or 'no' to cancel: yes 
..........
..........

[root@openstack webvirtmgr]#/usr/bin/python2 manage.py createsuperuser  //添加管理员账号（同样使用python2版本执行，不要使用默认的python执行）
WARNING:root:No local_settings file found.
Username: ops                                                   //这个是管理员账号，用上面的admin和这个管理员账号都可以登陆webvirtmgr的web界面管理平台
Email address: wangshibo@163.com
Password: 
Password (again): 
Superuser created successfully.

7）拷贝web到 相关目录
[root@openstack ops]# mkdir -pv /var/www
[root@openstack ops]# cp -Rv /usr/local/src/webvirtmgr /var/www/webvirtmgr

8）设置ssh
[root@openstack ops]# ssh-keygen -t rsa             //产生公私钥
[root@openstack ops]# ssh-copy-id 192.168.1.17        //由于这里webvirtmgr和kvm服务部署在同一台机器，所以这里本地信任。如果kvm部署在其他机器，那么这个是它的ip
[root@openstack ops]# ssh 192.168.1.17 -L localhost:8000:localhost:8000 -L localhost:6080:localhost:60

9）编辑nginx配置文件
提前确保/etc/nginx/nginx.conf文件里开启了“include /etc/nginx/conf.d/*.conf;”

[root@openstack ops]#vim /etc/nginx/conf.d/webvirtmgr.conf           //添加下面内容到文件中
server {
listen 80 default_server;

server_name $hostname;
#access_log /var/log/nginx/webvirtmgr_access_log;

location /static/ {
root /var/www/webvirtmgr/webvirtmgr; # or /srv instead of /var
expires max;
}

location / {
proxy_pass http://127.0.0.1:8000;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-for $proxy_add_x_forwarded_for;
proxy_set_header Host $host:$server_port;
proxy_set_header X-Forwarded-Proto $remote_addr;
proxy_connect_timeout 600;
proxy_read_timeout 600;
proxy_send_timeout 600;
client_max_body_size 1024M; # Set higher depending on your needs
}
}

[root@openstack ops]# mv /etc/nginx/conf.d/default.conf /etc/nginx/conf.d/default.conf.bak

10）启动nginx
[root@openstack ops]#/ etc/init.d/nginx restart

11）修改防火墙规则
[root@ops ~]# vim /etc/sysconfig/selinux 
......
SELINUX=disabled

[root@ops ~]# setenforce 0
setenforce: SELinux is disabled
[root@ops ~]# getenforce 
Disabled

[root@openstack ops]#/usr/sbin/setsebool httpd_can_network_connect true

12）设置 supervisor (如果iptables防火墙开启的话，就必须要开通80、8000、6080端口访问)
[root@openstack ops]# chown -R nginx:nginx /var/www/webvirtmgr

[root@openstack ops]# vim /etc/supervisord.conf     //在文件末尾添加,注意将默认的python改为python2，因为上面只有用这个版本执行才不报错！
[program:webvirtmgr]
command=/usr/bin/python2 /var/www/webvirtmgr/manage.py run_gunicorn -c /var/www/webvirtmgr/conf/gunicorn.conf.py                     //启动8000端口
directory=/var/www/webvirtmgr
autostart=true
autorestart=true
logfile=/var/log/supervisor/webvirtmgr.log
log_stderr=true
user=nginx

[program:webvirtmgr-console]
command=/usr/bin/python2 /var/www/webvirtmgr/console/webvirtmgr-console                               //启动6080端口（这是控制台vnc端口）
directory=/var/www/webvirtmgr
autostart=true
autorestart=true
stdout_logfile=/var/log/supervisor/webvirtmgr-console.log
redirect_stderr=true
user=nginx
[root@openstack ops]#vim /var/www/webvirtmgr/conf/gunicorn.conf.py    //确保下面bind绑定的是本机的8000端口，这个在nginx配置中定义了，被代理的端口
bind = '127.0.0.1:8000'
13）设置开机启动
[root@openstack ops]#chkconfig supervisord on
[root@openstack ops]#vim /etc/rc.local
/usr/sbin/setsebool httpd_can_network_connect true

14）启动进程
[root@openstack ops]#/etc/init.d/supervisord restart
15）查看进程
[root@openstack ops]#netstat -lnpt    //即可以看到6080和8000已经启动
[root@openstack ops]# lsof -i:6080
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
python2 53476 nginx 3u IPv4 364124 0t0 TCP *:6080 (LISTEN)
[root@openstack ops]#lsof -i:8000

------------------------------------------------------------------------------
一般来说，只要上面的supervisord服务启动了，8000和6080端口就起来了。
因为在/etc/supervisord.conf文件里配置了这两个端口的启动设置

如果supervisord服务启动了，8000和6080端口还是没起来！
那么就需要手动启动/etc/supervisord.conf文件里配置的这两个端口的启动命令，即：
[root@openstack ops]# /usr/bin/python2 /var/www/webvirtmgr/manage.py run_gunicorn -c /var/www/webvirtmgr/conf/gunicorn.conf.py       //这个命令会一直在操作
[root@openstack ops]# /usr/bin/python2 /var/www/webvirtmgr/console/webvirtmgr-console                        //这个命令会一直在操作
[root@openstack ops]# /etc/init.d/supervisord restart
[root@openstack ops]# lsof -i:8000
[root@openstack ops]# lsof -i:6080
------------------------------------------------------------------------------

16）web访问
http://111.101.186.163/login/

这里用超级管理员登陆，只有超级管理员登陆后才能看到“基础构架”窗口

普通用户登陆后，只能看到“WebVirtMgr”一个窗口

 

选择“SSH链接“，设置Label，IP，用户

注意：Label与IP要相同

打开后，有报错！看来在上面使用ssh连接的配置环节有误所致！

上面介绍的是WebVirtMgr和KVM部署在一台机器上，下面再记录下添加其他KVM宿主机（比如192.168.1.50）的方法

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

1）在192.168.1.50机器上配置虚拟化及网桥环境 参考：https://www.cnblogs.com/kevingrace/p/5737487.html    2）手动创建下面文件并配置SSH连接（如果采用tcp方式连接，其实这一步就不用配置了） [root@kvm02 ~]# vim /etc/polkit-1/localauthority/50-local.d/50-libvirt-remote-access.pkla [Remote libvirt SSH access] Identity=unix-user:root Action=org.libvirt.unix.manage ResultAny=yes ResultInactive=yes ResultActive=yes [root@kvm02 ~]# chown -R root.root /etc/polkit-1/localauthority/50-local.d/50-libvirt-remote-access.pkla    3）在WebVirtMgr部署机（上面的192.168.1.17 ）上执行： [root@openstack ops]# ssh-copy-id 192.168.1.50 [root@openstack ops]# ssh 192.168.1.50 -L localhost:8000:localhost:8000 -L localhost:6080:localhost:60     [root@openstack ops]# su - nginx -s /bin/bash -bash-4.1$ ssh-copy-id root@192.168.1.50     验证从WebVirtMgr部署机192.168.1.17无密码登录到其他kvm宿主机（192.168.1.50）的信任关系 [root@openstack ops]# ssh -p22 root@192.168.1.50 Last login: Thu Jun  7 14:17:37 2018 from 192.168.10.10 [root@kvm02 ~]#     [root@openstack ops]# ssh 192.168.1.50 -L localhost:8000:localhost:8000 -L localhost:6080:localhost:60 bind: Address already in use bind: Address already in use Last login: Thu Jun  7 14:49:44 2018 from 192.168.10.10 [root@kvm02 ~]#     [root@openstack ops]# su - nginx -s /bin/bash -bash-4.1$ ssh root@192.168.1.50 Warning: Permanently added '192.168.1.50' (RSA) to the list of known hosts. Last login: Thu Jun  7 14:49:17 2018 from 192.168.10.10 [root@kvm02 ~]#     4）在192.168.1.50机器上进行libvirtd的TCP连接配置 修改文件/etc/sysconfig/libvirtd，用来启用tcp的端口 [root@kvm02 ~]# cat /etc/sysconfig/libvirtd ........ LIBVIRTD_CONFIG=/etc/libvirt/libvirtd.conf LIBVIRTD_ARGS="--listen"     修改文件/etc/libvirt/libvirtd.conf [root@kvm02 ~]# vim /etc/libvirt/libvirtd.conf listen_tls = 0 listen_tcp = 1 tcp_port = "16509" listen_addr = "0.0.0.0" auth_tcp = "none"     运行 libvirtd [root@kvm02 ~]# service libvirtd restart     建议使用下面方式运行libvirtd [root@kvm02 ~]# service libvirtd stop [root@kvm02 ~]# ps -ef|grep libvirtd|grep -v grep|awk '{print $2}'|xargs kill -9 [root@kvm02 ~]# libvirtd --daemon --listen --config /etc/libvirt/libvirtd.conf     查看运行进程 [root@kvm02 ~]# ps aux | grep libvirtd root 16563 1.5 0.1 925880 7056 ? Sl 16:01 0:28 libvirtd -d -l --config /etc/libvirt/libvirtd.conf     查看端口 [root@kvm02 ~]# lsof -i:16509     关闭iptables防火墙，如果防火墙打开了，则需要添加下面规则： [root@kvm02 ~]# vim /etc/sysconfig/iptables ...... -A INPUT -m state --state NEW -m tcp -p tcp --dport 16509 -j ACCEPT [root@kvm02 ~]# /etc/init.d/iptables restart     然后在WebVirtMgr部署机192.168.1.17上进行验证tcp连接验证 [root@openstack ops]# virsh -c qemu+tcp://192.168.1.50/system Welcome to virsh, the virtualization interactive terminal.     Type:  'help' for help with commands        'quit' to quit     virsh #     最后为了防止在使用tcp方式连接后出现"error: Cannot recv data: Connection reset by peer"，即连上后一会儿就断开了。 需要在kvm宿主机上添加下面脚本 [root@kvm02 ~]# vim /usr/local/src/libvirtd.sh #!/bin/bash ps -ef | grep "libvirtd --daemon --listen"|grep -v grep|awk -F" " '{print $2}'|xargs kill -9 /usr/sbin/libvirtd --daemon --listen --config /etc/libvirt/libvirtd.conf     [root@kvm02 ~]# chmod 755  /usr/local/src/libvirtd.sh [root@kvm02 ~]# sh /usr/local/src/libvirtd.sh [root@kvm02 ~]# crontab -e * * * * * /bin/bash -x /usr/local/src/libvirtd.sh > /dev/null 2>&1 * * * * * sleep 10;/bin/bash -x /usr/local/src/libvirtd.sh > /dev/null 2>&1 * * * * * sleep 20;/bin/bash -x /usr/local/src/libvirtd.sh > /dev/null 2>&1 * * * * * sleep 30;/bin/bash -x /usr/local/src/libvirtd.sh > /dev/null 2>&1 * * * * * sleep 40;/bin/bash -x /usr/local/src/libvirtd.sh > /dev/null 2>&1 * * * * * sleep 50;/bin/bash -x /usr/local/src/libvirtd.sh > /dev/null 2>&1     这样，登录WebVirtMgr界面就可以成功添加上面的kvm宿主机（192.168.10.50）了。