随笔分类 -  Transformers

reward model learning papers
摘要：1. Fine-Tuning Language Models from Human Preferences reward model：774M参数量的GPT-2，先进行了有监督训练 训练loss: 其中r(x,y)代表reward model，x代表输入或者prompt，y代表输出或者reponse 阅读全文
posted @ 2023-03-10 14:51 Shiyu_Huang 阅读(403) 评论(0) 推荐(0) 编辑
各个语言模型大小，参数量等统计
摘要：模型名 参数量 模型大小(Pytorch) 训练数据 token长度 网络结构 训练硬件 训练时长 发布时间 来源 发布组织 GPT-2 small:124M medium:355M large:774M XL:1.5B small: 548MB medium:1.52GB large:3.25GB 阅读全文
posted @ 2023-03-06 15:00 Shiyu_Huang 阅读(4080) 评论(0) 推荐(0) 编辑