chatglm论文

http://xxx.itp.ac.cn/pdf/2103.10360.pdf

摘要:

使用一个autoencoder和autoagressive的模型达到更好效果.

定义
输入文字:
x=[\(x_1,...,x_n\)]
text spans:
{\(s_1,...s_m\)}
\(s_i\):
一段连续的tokens
每一个s用一个[MASK]来替代. 所以他一个符号盖住了一片token.
随机交换spans, 用autogressive来做预测.