击败Stable Diffusion XL，商汤绘画大模型出手即大作，论文公开、免费试玩

前言商汤大模型团队提出的文生图大模型RAPHAEL，可以生成具有高度艺术风格或者摄影风格的图片，速度极快。

本文转载自机器之心

仅用于学术分享，若侵权请联系删除

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

【CV技术指南】CV全栈指导班、基础入门班、论文指导班全面上线!!

自从 2022 年开始，以 Stable Diffusion、ChatGPT 为代表的生成式 AI 席卷了整个 AI 社区，AI 大模型也走进了公众的视野。

但是，现有的绝大部分模型仍然做不到生成高质量且符合文本描述的图。

本文将介绍商汤大模型团队提出的文生图大模型 RAPHAEL，可以生成具有高度艺术风格或者摄影风格的图片，而且生成速度极快，并且在各项测试上击败了 Stable Diffusion XL，DALL-E 2，DeepFloyd 等模型。

论文地址：https://arxiv.org/pdf/2305.18295.pdf

该研究还提供了将 RAPHAEL 作为基座的 artist v0.3.0 beta 模型的在线试玩链接，可以在 https://miaohua.sensetime.com/zh-CN/ 中免费试玩（注意不要选错模型了）。同时，研究者也设置了反馈按钮（在生成图的旁边）来帮他们不断优化，希望大家可以积极体验并进行反馈。

效果展示

更多效果展示：

方法介绍

本文共提出了三个组件: Space-MoE, Time-MoE, 以及 Edge-supervised learning 模块。

Space-MoE 找出了文本中每一个 token 在图片中对应的区域，用不同的 expert 来处理不同的区域，最后再融合。

Time-MoE 模块使得模型能够在不同的 timestep 上选择不同的 expert；这些 MoE 事实上组成了一系列的 diffusion path，用来画某一类名词，动词，或者形容词。这些词的 diffusion path 都可以被 XGBoost 算法分开，证明了每一个 path 负责一个词。如下图所示：

Edge-supervised learning 使用物体的轮廓纹理来监督 attention 模块的学习，帮助模型更好的学习到图片的结构信息。

该研究也做了充分的消融实验来验证这三个模块的效果，具体可见论文的正文部分。研究者使用了清洗后的 LAION-5B 以及一些内部数据集来训练 RAPHAEL，LAION-5B 的清洗方案参考了 Stable Diffusion，超参数文中都有提供。同时，为了使得网络能够生成任意长宽比的图片，受到目标检测领域的启发，研究者提出了多尺度训练：即把不同尺度的图，根据这一尺度的图的数量，输入不同的 GPU 训练。具体的网络结构见下图：