2024年5月27日
SUPRA：无须额外训练，将Transformer变为高效RNN，推理速度倍增
摘要： Transformers 已经确立了自己作为首要模型架构的地位，特别是因为它们在各种任务中的出色表现。但是Transformers 的内存密集型性质和随着词元数量的指数扩展推理成本带来了重大挑战。为了解决这些问题，论文“Linearizing Large Language Models”引入了一种创 阅读全文
posted @ 2024-05-27 11:34 deephub 阅读(6) 评论(0) 推荐(0) 编辑