RDMA网络
UCloud高性能RoCE网络设计 - 知乎 (zhihu.com)
[RoCE]网络QoS总结 - blackwall - 博客园 (cnblogs.com)
【网络】Cos和ToS和DSCP|Qos|PHB的含义和区别以及映射 - bandaoyu - 博客园 (cnblogs.com)
Mellanox SN2410交换机RoCE协议配置 | 生命不息 折腾不止 (sysu.tech)
UCloud高性能RoCE网络设计 - 云+社区 - 腾讯云 (tencent.com)
（一）安装MLNX驱动
#前置依赖
yum install gcc-gfortran
yum install redhat-rpm-config rpm-build gcc-gfortran tcsh tk pciutils python-devel lsof gtk2 atk cairo createrepo autoconf automake libtool fuse-libs libusbx -y
#mount 安装文件
mkdir /tmp/download
mount -t nfs 192.168.0.22:/data /tmp/download
cd /tmp/download
mkdir /tmp/ofed
mount MLNX_OFED_LINUX-5.2-2.2.0.0-rhel7.9-x86_64.iso /tmp/ofed
#安装 RDMA
cd /tmp/ofed
./mlnxofedinstall --add-kernel-support --skip-distro-check
最后重启机器（也许有其他方式，保险点重启机器就好）
（二）配置RoCE
############################################################
[root@node35 yrfs]# ibdev2netdev -v
0000:5e:00.0 mlx5_0 (MT4117 - MT2023K06632) CX4121A - ConnectX-4 LX SFP28 fw 14.30.1004 port 1 (DOWN ) ==> bond2 (Up)
0000:5e:00.1 mlx5_1 (MT4117 - MT2023K06632) CX4121A - ConnectX-4 LX SFP28 fw 14.30.1004 port 1 (ACTIVE) ==> bond2 (Up)
############################################################
# 配置 DSCP
mlnx_qos -i enp94s0f0 --trust dscp
mlnx_qos -i enp94s0f1 --trust dscp
# Set ToS to 106 (DSCP 26) for all RoCE traffic on the port,
# it will take effect on QPs created with RDMA_CM
echo 106 > /sys/class/infiniband/mlx5_0/tc/1/traffic_class
echo 106 > /sys/class/infiniband/mlx5_1/tc/1/traffic_class
cma_roce_tos -d mlx5_0 -t 106
cma_roce_tos -d mlx5_1 -t 106
# 配置PFC到优先级3
mlnx_qos -i enp94s0f0 --pfc 0,0,0,1,0,0,0,0
mlnx_qos -i enp94s0f1 --pfc 0,0,0,1,0,0,0,0
# 开启ECN
sysctl -w net.ipv4.tcp_ecn=1
