5.27

黄仁勋介绍道，8 年内英伟达 AI 算力增加了 1000 倍，能以更低成本去训练大模型。举例来说，训练 1.8 万亿参数、8 万亿 token 的 GPT-4，所需能耗从 8 年前 Pascal 架构的 1000GWh 减少到 Blackwell 的 3GWh，也就是说将能耗足足降至 8 年前的 1/350。

此外，Blackwell 将生成 token 的能耗降至 8 年前的 1/45000。以前用 Pascal 产生 1 token 的能耗相当于 2 个 200W 灯泡运行 2 天，让 GPT-4 生成一个单词大约需要 3 个 token。现在 1 token 只用 0.4J 能耗。

不止于此，老黄表示，必须制造更大的机器，英伟达构建它的方式是风冷 DGX 和液冷 MGX。

其中 DGX 的 AI 算力提升到上一代的 45 倍，达到 1440PFLOPS，而能耗仅为上一代的 10 倍。新一代 DGX 能搭载 72 个 GPU，背后由 NVLink 5000 根电缆组成的主干支持，能为一个机架节省 20kW 电能。