[论文速览] Learning to Write Stylized Chinese Characters

Pre

title: Learning to Write Stylized Chinese Characters by Reading a Handful of Examples
accepted: IJCAI 2018
paper: https://arxiv.org/abs/1712.06424
code: None
ref: https://www.jiqizhixin.com/articles/2018-01-01-4

关键词: 字体生成
阅读理由: 风格内容解耦先行者

Idea

选用两张字形，一张提供内容，一张提供风格，内容特征加入了汉字的结构和偏旁信息，以风格内容解耦的方式生成字形。

Motivation

早期方法（Zi2Zi等）没有泛化能力，要生成的字体必须是训练时见过的

Background

风格感知变分自编码器（Style-Aware Auto-Encoder, SA-VAE）

主要贡献：

我们提出了一个新型的交叉逐对（intercross pair-wise）优化的方法用于风格特征提取，是以监督形式解决解双因素耦合问题的一个通用技术。
我们将汉字的领域知识以先验知识的形式引入模型中，并提出了一种信息编码方法来指导汉字生成。
我们提出的模型（SA-VAE）可以实现准确的风格推理，并以单样本/少样本的方式生成中文字体。

Method（Model）

Overview

图1 本文汉字生成过程描述。给定少量特定字体的样本，推理不同风格的隐藏向量。然后，我们通过识别它们的内容在少量样本的基础上生成中文字体（「生存还是毁灭，这是个问题」），可以看到，用来训练的样本中，每个风格只有四个汉字（「莎士比亚」）。

假定汉字能由内容因子和风格因子决定：

\[x_{i,j} \leftarrow (s_i, c_j), \tag{1} \]

表示风格i和内容j结合生成汉字\(x_{i,j}\)

Model Architecture

图2 我们提出的 SA-VAE 框架主要包含三个子网络，包括内容识别网络 C、风格推理网络 S，以及汉字生成网络 G。S 和 C 分别提取风格特征和内容特征，G 结合这两个特征生成汉字。另外，我们引入了汉字的域知识 K 以得到更多的内容表征信息。训练过程是以交叉逐对的方式进行的。

总体分两个阶段——推理和生成，推理时先把隐特征解耦为内容相关和风格相关，生成时以二者作为输入过反卷积层。训练时的解耦以交叉并行方式（intercross pair-wise way）进行

Content Recognition Network. 根据字形图片得到内容标签

图3 本文的汉字编码方式

Character Structure Knowledge. 并非one-hot而是通过特殊的编码来表示一个汉字，如图3所示，编码由结构IDC、偏旁、索引码组成，能够共享汉字间相同的配置和偏旁信息。索引表\(\mathcal{K}: c=T[y]\)允许使用汉字的one-hot编码查询对应的内容哈希码，唯一确定一个汉字。这玩意说白了是个分段的one-hot编码，前面两部分存储了一些可共享的信息，最后一个哈希用于确定汉字，生硬。

Style Inference Network. 输入字形图片x和相应的内容哈希c（并非整个内容编码），输出对应风格，也通过约束相同字体不同字形抽取的特征分布一致来保证抽取的准确性

Character Generation Network. 以内容哈希c和风格特征s作为输入，感觉是不是写错了，总得用上整个内容编码了吧