何恺明新作：简单框架达成无条件图像生成新SOTA！与MIT合作完成
前言 大佬何恺明和MIT师生一起开发了一个自条件图像生成框架，名叫RCG。这个框架结构非常简单但效果拔群，直接在ImageNet-1K数据集上实现了无条件图像生成的新SOTA。
本文转载自新智元
仅用于学术分享，若侵权请联系删除
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!!
大佬何恺明还未正式入职MIT，但和MIT的第一篇合作研究已经出来了：
他和MIT师生一起开发了一个自条件图像生成框架，名叫RCG（代码已开源）。
这个框架结构非常简单但效果拔群，直接在ImageNet-1K数据集上实现了无条件图像生成的新SOTA。
它生成的图像不需要任何人类注释（也就是提示词、类标签什么的），就能做到既保真又具有多样性。
这样的它不仅显著提高了无条件图像生成的水平，还能跟当前最好的条件生成方法一较高下。
用何恺明团队自己的话来说：
有条件和无条件生成任务之间长期存在的性能差距，终于在这一刻被弥补了。
那么，它究竟是如何做到的呢？
类似自监督学习的自条件生成
首先，所谓无条件生成，就是模型在没有输入信号帮助的情况下直接捕获数据分布生成内容。
这种方式比较难以训练，所以一直和条件生成有很大性能差距——就像无监督学习比不过监督学习一样。
但就像自监督学习的出现，扭转了这一局面一样。
在无条件图像生成领域，也有一个类似于自监督学习概念的自条件生成方法。
相比传统的无条件生成简单地将噪声分布映射到图像分布，这种方法主要将像素生成过程设置在从数据分布本身导出的表示分布上。
它有望超越条件图像生成，并推动诸如分子设计或药物发现这种不需要人类给注释的应用往前发展（这也是为什么条件生成图像发展得这么好，我们还要重视无条件生成）。
现在，基于这个自条件生成概念，何恺明团队首先开发了一个表示扩散模型RDM。
它主要用于生成低维自监督图像表示，方法是通过自监督图像编码器从图像中截取：
它的核心架构如下：
首先是输入层，它负责将表征投射到隐藏维度C，接着是N个全连接块，最后是一个输出层，负责把隐藏层的潜在特征重新投射（转换）到原始表征维度。
其中每一层都包含一个LayerNorm层、一个SiLU层以及一个线性层。
这样的RDM具有两个优点：
一是多样性强，二是计算开销小。
接着，利用RDM，团队就提出了今天的主角：表示条件图像生成架构RCG。
它是一个简单的自条件生成框架，由三个组件组成：
一个是SSL图像编码器，用于将图像分布转换为紧凑的表示分布。
一个是RDM，用于对该分布进行建模和采样。
最后是一个像素生成器MAGE，用于根据表示来处理图像像。
MAGE的工作方式主要是向token化的图像中添加随机掩码，并要求网络以从同一图像中提取的表示为条件来重建丢失的token。
最终，测试表明，这个自条件生成框架虽结构简单但效果非凡：
在ImageNet 256×256上，RCG实现了3.56的FID和186.9的IS（Inception Score）得分。
相比之下，在它之前最厉害的无条件生成方法FID分数为7.04，IS得分为123.5。
以及，相比条件生成，RCG也丝毫不逊色，可以达到相当甚至超过该领域基准模型的水平。
最后，在无分类器引导的情况下，RCG的成绩还能进一步提高到3.31（FID）和253.4（IS）。
团队表示：
这些结果表明，自条件图像生成模型拥有巨大潜力，可能预示这一领域新时代的到来。
团队介绍
本文一共三位作者：
一作是MIT博士生黎天鸿，本科毕业于清华姚班，研究方向为跨模态集成传感技术。
他的主页很有意思，还专门放了一个菜谱合集——做研究和做饭是他最热爱的两件事。
另一位作者是MIT电气工程与计算机科学系（EECS）教授、MIT无线网络和移动计算中心主任Dina Katabi，她是今年斯隆奖的获得者，并已当选美国国家科学院院士。
最后，通讯作者为何恺明，他将在明年正式回归学界、离开Meta加入MIT电气工程和计算机科学系，与Dina Katabi成为同事。
论文地址：https://arxiv.org/abs/2312.03701
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群：470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。
其它文章
LSKA注意力 | 重新思考和设计大卷积核注意力，性能优于ConvNeXt、SWin、RepLKNet以及VAN
CVPR 2023 | TinyMIM：微软亚洲研究院用知识蒸馏改进小型ViT
ICCV2023|涨点神器！目标检测蒸馏学习新方法，浙大、海康威视等提出
ICCV 2023 Oral | 突破性图像融合与分割研究：全时多模态基准与多交互特征学习
HDRUNet | 深圳先进院董超团队提出带降噪与反量化功能的单帧HDR重建算法
南科大提出ORCTrack | 解决DeepSORT等跟踪方法的遮挡问题，即插即用真的很香
1800亿参数，世界顶级开源大模型Falcon官宣！碾压LLaMA 2，性能直逼GPT-4
SAM-Med2D：打破自然图像与医学图像的领域鸿沟，医疗版 SAM 开源了！
GhostSR|针对图像超分的特征冗余，华为诺亚&北大联合提出GhostSR
Meta推出像素级动作追踪模型，简易版在线可玩 | GitHub 1.4K星
CSUNet | 完美缝合Transformer和CNN，性能达到UNet家族的巅峰！
