《∞-former: Infinite Memory Transformer》实验部分
https://arxiv.org/pdf/2109.00301.pdf
本文特点:无限长期记忆、任意长度上下文
本文进行了3个实验:
(1)综合实验,长度4000、8000、16000,预测token排序的准确率
(2)语言建模,在Wikitext-103 ,LTM取150 Gaussian RBFs, STM取150,记忆阈值900。
困惑度比Transformer-XL 和Compressive Transformer有提高。
(3)微调,在Wikitext-103 和PG-19 ,给GPT-2 small 增加长期记忆,困惑度也降低了。