09 2024 档案

Transformer两大发展方向——GPT系列及BERT（二）
摘要：前面讲解了GPT、BERT相关内容，这一篇记录剩下GPT-2、GPT-3、GPT-4。 相关资料 GPT1: Improving Language Understanding by Generative Pre-Training GPT2: Language Models are Unsupervi 阅读全文
posted @ 2024-09-27 17:22 半夜打老虎 阅读(136) 评论(0) 推荐(0) 编辑
Transformer两大发展方向——GPT系列及BERT（一）
摘要：前面介绍了Transformer，随着其发展在NLP领域应用越来越多，在其基础上主要有两篇影响非常大的文章，一篇是GPT，另一篇是BERT。OpenAI提出的GPT采用Transformer解码器结构，一路更新迭代到了现在有了GPT-4，而Google提出的BERT采用Transformer的编码器 阅读全文
posted @ 2024-09-12 19:35 半夜打老虎 阅读(244) 评论(0) 推荐(0) 编辑
Transformer: Attention is all you need
摘要：Transformer于2017年提出，最开始应用于NLP领域，随着Transformer的快速发展，在视觉领域中也越来越多的论文或应用用到了Transformer，这里记录一下自己学习的一些知识点。 PDF： 《Attention Is All You Need》 Code: attention- 阅读全文
posted @ 2024-09-05 21:26 半夜打老虎 阅读(72) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示