2023年5月19日
Transformer 估算 101
摘要： 本文主要介绍用于估算 transformer 类模型计算量需求和内存需求的相关数学方法。 # 引言 其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些公式，阐明它们是如何推导出来的及其 阅读全文
posted @ 2023-05-19 15:35 HuggingFace 阅读(963) 评论(0) 推荐(2) 编辑