在Colab上测试Mamba

我们在前面的文章介绍了研究人员推出了一种挑战Transformer的新架构Mamba

他们的研究表明，Mamba是一种状态空间模型(SSM)，在不同的模式(如语言、音频和时间序列)中表现出卓越的性能。为了说明这一点，研究人员使用Mamba-3B模型进行了语言建模实验。该模型超越了基于相同大小的Transformer的其他模型，并且在预训练和下游评估期间，它的表现与大小为其两倍的Transformer模型一样好。

Mamba的独特之处在于它的快速处理能力，选择性SSM层，以及受FlashAttention启发的硬件友好设计。这些特点使Mamba超越Transformer（Transformer没有了传统的注意力和MLP块）。

有很多人希望自己测试Mamba的效果，所以本文整理了一个能够在Colab上完整运行Mamba代码，代码中还使用了Mamba官方的3B模型来进行实际运行测试。

 

https://avoid.overfit.cn/post/ed2d2cc2460d4e0683a270e2761e10ea