扩散模型在文本生成领域的应用

对于加噪方式

Structured Denoising Diffusion Models in Discrete State-Spaces

简单来说就是定义了一系列转移矩阵。其中关于文本生成的转移矩阵的特点在于基于概率在不同时间步将一个离散词转为MASK 字符或者保持不变。

Diffusion-LM Improves Controllable Text Generation

前向时离散的字词首先通过词嵌入转为一系列连续的潜在向量。之后对每个连续向量不断加高斯噪声进行前向扩散。后向时不断去噪并且最终将每个潜在向量量化到一个距离最近的词嵌入上。

DDPM里是直接对噪声进行预测，而作者发现如果直接预测噪声会导致最终去噪后的结果不对应任何词嵌入。为了解决这个问题作者直接预测初始输入x0。

Composable Text Controls in Latent Space with ODEs

适用于控制文本的积极性、时态等问题，不适用于摘要