2024年6月18日
Multi-Head RAG:多头注意力的激活层作为嵌入进行文档检索
摘要： 现有的RAG解决方案可能因为最相关的文档的嵌入可能在嵌入空间中相距很远，这样会导致检索过程变得复杂并且无效。为了解决这个问题，论文引入了多头RAG (MRAG)，这是一种利用Transformer的多头注意层的激活而不是解码器层作为获取多方面文档的新方案。 MRAG 不是利用最后一个前馈解码器层为最 阅读全文
posted @ 2024-06-18 10:24 deephub 阅读(20) 评论(0) 推荐(0) 编辑