NeurIPS 2024最佳论文，扩散模型的创新替代：基于多尺度预测的视觉自回归架构

本文将详细解读NeurIPS 2024最佳论文：**"Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction（视觉自回归建模：基于下一尺度预测的可扩展图像生成）"**。

该论文提出了视觉自回归建模（Visual Autoregressive Modeling，VAR）方法，在图像生成领域实现了重要突破。VAR通过精确捕捉图像结构特征，实现了高效率、高质量的图像生成。该方法对当前以扩散模型为主导的图像生成领域提出了新的技术方向，为自回归模型开辟了新的发展空间。本文将从技术原理、实现方法、应用场景及局限性等方面进行详细分析。

图像生成的两大技术路线：扩散模型与自回归模型

图像生成技术主要包含两个主要分支。第一个分支是扩散模型（Diffusion Models），其核心原理是通过逐步添加噪声并随后反向去噪来生成图像。近年来扩散模型在图像生成领域取得了显著进展，并成为主流技术方案。

第二个分支是自回归模型（Autoregressive Models，AR Models）。这类模型采用逐步构建的方式生成图像，即基于已生成的部分预测图像的下一个组成部分。自回归模型是GPT等大型语言模型的核心技术，同时在图像生成领域也取得了重要进展。自回归模型通常基于卷积神经网络或Transformer架构实现。本文重点讨论的VAR模型即属于自回归模型家族。

传统自回归模型的技术局限

传统自回归模型将二维图像转换为一维token序列，并按照光栅扫描模式顺序预测这些token。这种方法存在以下技术局限：

• 二维结构信息损失： 图像token在水平和垂直方向上均存在关联性，但传统自回归模型的顺序生成机制难以有效建模这种二维依赖关系，影响了图像结构的完整性建模。
• 泛化能力受限： 顺序生成模式导致模型对生成顺序具有强依赖性。例如一个按照从上到下顺序训练的模型，在要求反向生成时性能会显著降低。
• 空间信息缺失： 将二维图像压缩为一维序列的过程中，相邻token之间的空间关系信息会丢失，这限制了模型对图像结构的理解和重建能力。
• 计算效率低下： 传统自回归模型的计算复杂度随图像token数量呈O(n⁶)增长，这种复杂度使得高分辨率图像的生成在计算资源方面面临严峻挑战。

https://avoid.overfit.cn/post/6b65bf03189949608b81a8543800521c