戴尔R7920工作站利用PVE开启vGPU，实现工作站虚拟化（ShareStation）
介绍
本文介绍了使用Proxmox VE（PVE） + DoraCloud，将一台Dell R7920图形工作站（配置有NVIDIA RTX A6000显卡）实现工作站虚拟化。可以满足多个设计用户同时使用3D应用的需求。
方案适合于设计工作室、工厂设计部门、设计院等单位。
工作站虚拟化（ShareStation）与直接使用工作站相比，有如下几个方面的优势：
【资源共享】
GPU资源可以灵活调配，资源共享。
比如A6000卡，切分成显存6G的6Q配置，可以分配给8个用户用。人均8G显存。每个用户最大可以利用到A6000的全部算力。
【远程设计】
工作站虚拟化采用云桌面方案，实现了GPU的虚拟化。用户通过云终端远程接入工作站。拜托了设计师的时间、地点的限制。能够充分发挥设计师的创意和灵感。
【信息安全】
工作站虚拟化，将设计资料全部保存在数据中心的工作站/服务器上。用户云终端上不留存资料。可以防止资料意外丢失，或者泄密。
企业的设计部采用工作站虚拟化方案，可以非常便捷的与客户或者供应商沟通设计方案，而不用当心设计图纸的泄密。
准备条件
1、一台Dell R7920 机架式工作站，配置 Xeon Gold 6226R，256G， 1TB SSD， RTX A6000卡。
2、一个启动U盘。
3、网络内有DHCP服务。
安装步骤
1、设置BIOS，开启SR-IOV
Processor Settings中，
【Virtualization Technology】 设置为 Enable
Integrate Devices中，
【SR-IOV Global Enable】 设置为 Enable
【Memory Mapped I/O above 4G】 设置为 Enable
【Memory Mapped I/O base】 设置为 56TB
另外，启用主板的集成显卡输出。A6000 需要设置成不输出的vGPU模式。如果把工作站的输出配置为A6000，那么对A6000进行配置后，工作站会无法输出。因此必须设置集成显卡输出
2、安装Proxmox VE 7.3
使用Ventoy制作启动U盘。
Ventoy作为新一代U盘启动工具，不需要反复对U盘进行格式化。只需要把ISO拷贝到Ventoy制作好的U盘上即可。简化了启动U盘的制作。并且可以实现一个U盘实现多个系统的启动。
把 Proxmox的ISO文件拷贝Ventory制作的U盘根目录即可。
安装 Proxmox VE 7.3
工作站开机，按F12，选择U盘启动，进入Ventoy启动菜单。选择Proxmox VE 7.3的ISO镜像启动。进入Proxmox的安装过程。
3、配置A6000为vGPU模式
Proxmox的Shell中，运行 displaymodeselector ，设置为不输出的模式。
root@test:~# ./displaymodeselector --gpumode
NVIDIA Display Mode Selector Utility (Version 1.48.0)
Copyright (C) 2015-2020, NVIDIA Corporation. All Rights Reserved.
WARNING: This operation updates the firmware on the board and could make
the device unusable if your host system lacks the necessary support.
Are you sure you want to continue?
Press 'y' to confirm (any other key to abort):
y
Select a number:
<0> physical_display_enabled_256MB_bar1
<1> physical_display_disabled
<2> physical_display_enabled_8GB_bar1
Select a number (ESC to quit):
1
Specifed GPU Mode "physical_display_disabled"
Update GPU Mode of all adapters to "physical_display_disabled"?
Press 'y' to confirm or 'n' to choose adapters or any other key to abort:
y
Updating GPU Mode of all eligible adapters to "physical_display_disabled"
Apply GPU Mode <4> corresponds to "physical_display_disabled"
Adapter: Graphics Device (10DE,2230,1028,1459) S:00,B:AF,D:00,F:00
EEPROM ID (EF,6015) : WBond W25Q16FW/JW 1.65-1.95V 16384Kx1S, page
EEPROM ID (EF,6015) : WBond W25Q16FW/JW 1.65-1.95V 16384Kx1S, page
操作完毕后，检查A6000的图形模式
root@test:~# ./displaymodeselector --listgpumodes
NVIDIA Display Mode Selector Utility (Version 1.48.0)
Copyright (C) 2015-2020, NVIDIA Corporation. All Rights Reserved.
Adapter: Graphics Device (10DE,2230,1028,1459) S:00,B:AF,D:00,F:00
EEPROM ID (EF,6015) : WBond W25Q16FW/JW 1.65-1.95V 16384Kx1S, page
GPU Mode: Graphics mode with physical display disabled
4、配置A6000开启SR-IOV
A6000显卡支持SR-IOV方式的vGPU，需要先启用显卡的 SR-IOV 支持。
直接执行
/usr/lib/nvidia/sriov-manage -e 0000:af:00.0
为了实现服务器重启后，还能生效，添加一个sriov的服务。
cat >/etc/systemd/system/sriov.service <<EOF
[Unit]
Description=Script to enable SR-IOV on boot
[Service]
Type=simple
#start SR-IOV
ExecStart=/usr/lib/nvidia/sriov-manage -e 0000:af:00.0
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
systemctl enable sriov.service
systemctl start sriov.service
5、执行安装DoraCloud的vGPU脚本
Proxmox上执行如下三个脚本，可以完成Proxmox的设置以及NVIDIA vGPU的驱动安装
1）修改Proxmox的安装源，并执行更新。安装 pve-headers、dkms等包。
curl -o- http://www1.deskpool.com:9000/software/gpu01.sh |bash
2）启动IO-MMU
curl -o- http://www1.deskpool.com:9000/software/gpu02.sh |bash
执行脚本后，会自动重启服务器。
3）安装nvidia vGPU显卡驱动。
curl -o- http://www1.deskpool.com:9000/software/gpu03.sh |bash
执行脚本后，会自动重启服务器。
4）最后执行 DoraCloud安装脚本
cd /var/lib/vz/dump; wget -qO- https://dl.doracloud.cn/dpinstall.pl --referer https://doracloud.cn | perl
6、完成DoraCloud桌面的配置，开启vGPU
DoraCloud的配置，就不再详细介绍了。参见前面的博客
https://www.cnblogs.com/doracloud/p/16299534.html
7、使用DoraClient客户端测试
下载DoraClient，配置服务器地址为 DoraCloud地址，输入账号，密码，即可连接桌面。
8、发布到公网，实现远程设计
具体参见 DoraCloud 网关的配置。
https://docs.doracloud.cn/tasks/gateway/
