001入门级的超融合私有云开源解决方案Proxmox VE之规划部署
Proxmox VE 是什么?
Proxmox VE 是一个完整的企业虚拟化开源平台。借助内置的Web界面,您可以轻松管理VM和容器,软件定义的存储和网络,高可用性集群以及单个解决方案上的多个开箱即用工具。Proxmox VE 最大优势在于安装使用的方便以及web管理界面的丰富,还可以相对比较简单的实现桌面云。
从 Proxmox VE 5.x 版本开始,官方整合了分布式文件系统Ceph,并对其进行了改进。这样,就和OpenStack一样,存储方面集成实现了分布式存储,实现了计算、网络、存储一体化解决方案,即所谓的超融合。
Proxmox的主要特性,去中心化、超融合、高可用、开源低成本、易于实施管理,前面几个特性都和OpenStack一样,但是最后一点易于实施管理,OpenStack却做得不是特别好。
Proxmox的主要劣势,是这个开源产品只有一个厂商维护,叫做Proxmox Server Solutions 公司,但是只要产品足够稳定可靠,不用太多的定制化要求,能够拿来就用就行,只要足够方便好用,而且免费。如果需要更多更好更及时的技术支持,也可以直接购买这家公司的技术支持服务。
为什么要使用 Proxmox VE?
1. Proxmox VE 适用于虚拟机数量在1000台以下的小型虚拟化或者私有云场景下。
2. Proxmox VE 支持各类存储,包括分布式存储 Ceph 和 Zfs,能够像 OpenStack 一样轻松的实现超融合。
3. 在使用分布式存储的情况下可以很方便低成本的实现虚拟机的 HA 以及自动动态迁移。
4. Proxmox VE 适用于中小企业固定工位的办公桌面云,轻松实现并管理使用。
5. 对于中小企业来说,只需要采购硬件设备即可,软件几乎是免费的,这就极大的降低了企业的使用成本。
Proxmox VE 规划设计
网络规划
虚拟机集群网络拓扑图
网络方面需要管理网络,集群网络,存储网络,3个网络,需要强调的是,集群网路需要独立出来,因为集群网络对延时的要求很苛刻。如果有条件,每个网络都做bond。bond类型的选择,集群网络直接使用active-backup,其他的最好使用LACP(802.3ad)链路聚合,但是这种方式需要在交换机侧做配置,两个交换机之间也要做级联,链路聚合的好处是一稳定,二带宽不浪费,三高可用 。
存储规划
存储方面,除了系统盘之外,每台物理机使用2块硬盘贡献出来作为Ceph存储池使用,1块硬盘作为本地LVM存储并挂载给镜像和备份目录使用,这样可以比较灵活,需要实现HA功能虚拟机可以放在Ceph存储池,LVM存储池主要存放模板镜像文件,也可以给其他虚拟机使用,LVM存储池的虚拟机在相应速度上理论上要比Ceph的要高。Ceph存储池使用3 mon,3副本。
硬件规划
3台物理机,每台物理机需要5个物理万兆网口,4块3TB硬盘,内存至少8 GB,推荐128 GB,CPU 核数至少4核,推荐24核。
4台交换机,4台万兆交换机为主,两两互备。
Proxmox VE 部署
模拟环境
宿主机系统版本:Windows 10 Professional
虚拟机软件版本:VMware Workstation 15
Proxmox VE 版本:Proxmox-VE 5.3.2
模拟硬件
第一台虚拟 PVE(为表述方便,以下“Proxmox VE”均用“PVE”代替),具体硬件配置如下:
CPU:4核
内存:6 GB
硬盘:4 块,其中硬盘方面1块硬盘为系统盘31G,2块30G的Ceph盘,1块32G的LVM盘。
网卡:2 块,1块网卡同时给集群和虚拟机使用(192.168.17.0/24网段),1块网卡作为ceph存储网络(192.168.3.0/24网段)使用。
PVE 部署
部署完毕,WEB 界面:
PVE 网络配置
系统安装过程中配置了第一块网卡作为内部管理集群网络,网段是192.168.17.0/24 ,登陆系统后可以发现这个地址是配置在网桥上的,网桥上搭一块网卡进行桥接,因此新建一个网桥并配置192.168.3.0/24网段的地址给它,搭另一块网卡进行桥接,如下图:
注意:
第一块网卡设置了网关是192.168.17.2,这块网卡就不能设置网关了 。其实就是在主机上设置了默认网关,只能有一个。
增加完网桥之后,需要重启PVE节点生效配置。(网络更改都需要重启节点才能生效。)
PVE 取消订阅及更新源
更改为非订阅版,如下:
将/etc/apt/sources.list.d/pve-enterprise.list 文件内的唯一一条记录注释掉:
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade
消除“No valid subscription”提示的方法:
即,ssh登录服务器后执行下面的指令:
sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service