扩散模型+文本生成

扩散模型+文本生成？

扩散模型大部分用于图像生成

Diffusion-LM

以https://arxiv.org/abs/2205.14217为例，Diffusion-LM Improves Controllable Text Generation，是斯坦福在2022.5月的工作，首次研究连续扩散模型在文本生成的问题。

扩散模型在连续数据领域显示了巨大的成功，可以生成高质量的图像和视频。
为了处理离散数据，过去的工作研究了离散状态空间上的文本扩散模型，该模型定义了离散数据上的破坏过程(例如，每个标记有一定的概率被破坏为吸收或随机标记)。
本文专注于文本的连续扩散模型，基于连续的潜在表示。

https://github.com/XiangLi1999/Diffusion-LM

（1）首先，训练分类器，用于指导文本生成
（2）然后，用训练的分类器，指导文本生成。

扩散模型的其他应用

文本生成，Li X L, Thickstun J, Gulrajani I, et al. Diffusion-LM Improves Controllable Text Generation[J]. arXiv preprint arXiv:2205.14217, 2022.

少样本条件生成，Sinha A, Song J, Meng C, et al. D2c: Diffusion-decoding models for few-shot conditional generation[J]. Advances in Neural Information Processing Systems, 2021, 34: 12533-12548.

翻译，Nachmani E, Dovrat S. Zero-Shot Translation using Diffusion Models[J]. arXiv preprint arXiv:2111.01471, 2021.

对话生成，Liu S, Chen H, Ren Z, et al. Knowledge diffusion for neural dialogue generation[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2018: 1489-1498.

视频生成，Ho J, Salimans T, Gritsenko A, et al. Video diffusion models[J]. arXiv preprint arXiv:2204.03458, 2022.

音乐生成，Mittal G, Engel J, Hawthorne C, et al. Symbolic music generation with diffusion models[J]. arXiv preprint arXiv:2103.16091, 2021.

手写生成，Luhman T, Luhman E. Diffusion models for handwriting generation[J]. arXiv preprint arXiv:2011.06704, 2020.

跨模态条件生成，Zhu Y, Wu Y, Olszewski K, et al. Discrete Contrastive Diffusion for Cross-Modal and Conditional Generation[J]. arXiv preprint arXiv:2206.07771, 2022.

语音生成，Jeong M, Kim H, Cheon S J, et al. Diff-tts: A denoising diffusion model for text-to-speech[J]. arXiv preprint arXiv:2104.01409, 2021.
Popov V, Vovk I, Gogoryan V, et al. Grad-tts: A diffusion probabilistic model for text-to-speech[C]//International Conference on Machine Learning. PMLR, 2021: 8599-8608.

少样本，Giannone G, Nielsen D, Winther O. Few-Shot Diffusion Models[J]. arXiv preprint arXiv:2205.15463, 2022.

检索增强的扩散模型，Blattmann A, Rombach R, Oktay K, et al. Retrieval-Augmented Diffusion Models[J]. arXiv preprint arXiv:2204.11824, 2022.