TabR:检索增强能否让深度学习在表格数据上超过梯度增强模型？

这是一篇7月新发布的论文，他提出了使用自然语言处理的检索增强Retrieval Augmented技术，目的是让深度学习在表格数据上超过梯度增强模型。

检索增强一直是NLP中研究的一个方向，但是引入了检索增强的表格深度学习模型在当前实现与非基于检索的模型相比几乎没有改进。所以论文作者提出了一个新的TabR模型，模型通过增加一个类似注意力的检索组件来改进现有模型。据说，这种注意力机制的细节可以显著提高表格数据任务的性能。TabR模型在表格数据上的平均性能优于其他DL模型，在几个数据集上设置了新的标准，在某些情况下甚至超过了GBDT模型，特别是在通常被视为GBDT友好的数据集上。

 

https://avoid.overfit.cn/post/9e8cc5f506af4b368516876e108a62c7