Style Transfer from Non-Parallel Text by Cross-Alignment 阅读

发表在 NIPS 2017

目录

• 动机
• 方法（交叉对齐）
• 形式化
• 损失函数
• 算法
• 实验
• 源代码

动机

作者聚焦于非平行语料文本的风格迁移，针对其研究难点：如何将文本内容与属性分离开来，提出假设跨不同文本语料库共享潜在内容分布，并利用潜在表示的精确对齐来执行风格迁移的方法

方法（交叉对齐）

$$x_1、x_2为两个不同域的语料库$$

$$y_1、y_2 为其对应的风格标签$$

$$Z 为共享的隐空间（符合高斯分布）$$

说明：编码器 E 将句子进行编码并映射到隐空间 Z 中，得到句子的内容表示，当生成器 G 中输入的是原句子标签 y1 时，则生成与原风格相同的句子（重构，相当于AE），与原句子对齐；当生成器 G 中输入不同的风格时，则生成目标风格的句子,与目标句进行一个交叉对齐。

形式化

目的：学习一个风格迁移函数

主要包括两步：

第一步：编码，映射到隐空间 z 中。 z ~ p(z|x2,y2)

第二部：解码，生成目标句子。p(x1|y1,z)

损失函数

重构损失（VAE）：

两部分相加

判别器（cnn 分类器）：

算法

实验

论文中做了三个任务：

• Sentiment modification

  数据集：YELP

  数据处理同 Hu et al 2017 (Toward Controlled Generation of Text）

评价指标（引入了人工评价）：

​ Accuracy（预训练好的 TextCNN）

​ sentiment、fluency（human）-- 从测试集中随机选择 500 条句子由两个人来判断句子情感是否转换成功以及句子的流畅度

• Word substitution decipherment
• Word order recovery

源代码

https://github.com/shentianxiao/language-style-transfer