[Mellanox] 安装MLNX_OFED

[Mellanox] 安装MLNX_OFED

虽然已经安装过很多遍了，但是这里还是再次写一遍安装过程，方便以后查阅。

Mellanox的这堆东西其实每个安装起来都不难，难点在于版本要匹配。所以最重要的是我们要知道1.我们需要哪个版本的驱动；2.这些软件的版本对应关系。

查看当前的各种配置版本

MLNX_OFED的版本对操作系统发行版本和内核版本有一定要求。用下面的命令可以查看你的当前版本。

  • 查看内核版本
$ uname -r
5.4.0-26-generic
  • 查看操作系统版本
$ lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 20.04.6 LTS
Release:        20.04
Codename:       focal
  • 或者一个命令就可以
$ hostnamectl
   Static hostname: worker4
         Icon name: computer-server
           Chassis: server
        Machine ID: 56fc3d3889fa427091ee490613ed7c91
           Boot ID: 16989882503d406ca788a4afbe52f8c9
  Operating System: Ubuntu 20.04.6 LTS
            Kernel: Linux 5.4.0-26-generic
      Architecture: x86-64

通常来讲，我们可能会安装Mellanox的三个东西：固件Firmware，驱动MLNX_OFED，以及工具MFT。其中Firmware的下载地址在NVIDIA Networking Firmware Downloads。MFT在安装MLNX_OFED的时候也会顺带安装上，只不过实际使用时不知道为啥可能会找不着。如果想要单独安装MFT而不重装MLNX_OFED，可以参考[Mellanox] 安装MFT并配置网卡为以太网模式 - CQzhangyu - 博客园 (cnblogs.com)。

下面的命令用于检查你已经安装好的firmware,MLNX_OFED,MFT版本。

  • 查看firmware版本
$ ibstat
CA 'mlx5_1'
        CA type: MT4119
        Number of ports: 1
        Firmware version: 16.35.3006
        Hardware version: 0
        Node GUID: 0x1070fd03002fd421
        System image GUID: 0x1070fd03002fd420
        Port 1:
                State: Active
                Physical state: LinkUp
                Rate: 100
                Base lid: 0
                LMC: 0
                SM lid: 0
                Capability mask: 0x00010000
                Port GUID: 0x1270fdfffe2fd421
                Link layer: Ethernet
  • 查看MLNX_OFED版本
$ ofed_info  -s
MLNX_OFED_LINUX-5.4-3.6.8.1:
  • 查看mft版本
$ sudo mst start
$ sudo mst version
mst, mft 4.21.0-102, built on Aug 18 2022, 21:58:43. Git SHA Hash: f1a12d7

查看MLNX_OFED对应的内核版本

安装MLNX_OFED

  • 在这里下载你想要的版本：Linux InfiniBand Drivers (nvidia.com)，在Documentation->User Manual中可以看到安装教程。这里我下载的版本是MLNX_OFED_LINUX-5.4-3.6.8.1-ubuntu20.04-x86_64.iso。

  • $ sudo mkdir -p /mnt/MLNX_OFED
$ sudo mount -o ro,loop MLNX_OFED_LINUX-5.4-3.6.8.1-ubuntu20.04-x86_64.iso /mnt/MLNX_OFED
$ cd /mnt/MLNX_OFED
$ sudo ./mlnxofedinstall --without-dkms --add-kernel-support --kernel 5.4.0-26-generic --without-fw-update --force

  • 重启驱动

    sudo /etc/init.d/openibd restart

现在MLNX_OFED就已经安装完成了，可以用上面的命令来检查你当前安装好的版本。

posted @ 2024-05-12 17:28  CQzhangyu  阅读(3093)  评论(0)  编辑  收藏  举报