摘要: 今天的任务很艰巨,需要把下面这张图的模型架构复现一遍,要有耐心哦。我参考了哈佛NLP小组对transformer的分拆讲解[The Annotated Transformer](http://nlp.seas.harvard.edu/annotated-transformer/),但思路不同于原文。 阅读全文
posted @ 2023-08-01 20:02 鸽鸽的书房 阅读(22) 评论(0) 推荐(0) 编辑
摘要: Transformer鼎鼎大名人尽皆知,2017年就问津于世,鸽鸽2023年才学习它,任何时候圆梦都不算晚!本文记录了我像建房子一样从头到尾打造变形金刚的全过程,目的是熟悉pytorch和深入理解transformer。 先看下我设定的任务难度,我们要解决的是经典的seq2seq翻译任务。使用的数据 阅读全文
posted @ 2023-08-01 20:01 鸽鸽的书房 阅读(24) 评论(0) 推荐(0) 编辑