2024年3月6日
RNN又行了！DeepMind新发布的Griffin可以与同级别的LLM性能相当
摘要： Hawk和Griffin是DeepMind推出的新型循环神经网络（RNNs），2月刚刚发布在arxiv上。Hawk通过使用门控线性递归（gated linear recurrences）超越了Mamba的性能，而Griffin则是一种混合型模型，结合了门控线性递归和局部注意力（local atten 阅读全文
posted @ 2024-03-06 10:58 deephub 阅读(20) 评论(0) 推荐(0) 编辑