摘要: #Transformer Network变压器网络 你已经了解了 self attention,你已经了解了 multi headed attention。在这个视频中,让我们把它们放在一起来构建一个变压器网络。您将看到如何将之前视频中看到的注意力机制配对来构建转换器架构。再次从句子 Jane Vi 阅读全文
posted @ 2021-09-17 20:56 xingye_z 阅读(602) 评论(0) 推荐(0) 编辑
摘要: Multi-Head Attention多头注意力 让我们进入并了解多头注意力机制。 符号变得有点复杂,但要记住的事情基本上只是你在上一个视频中学到的自我注意机制的四个大循环。 让我们看一下每次计算自我注意力的序列时,称为头部。 因此,多头注意力这个名称指的是你是否按照上一个视频中看到的方式进行操作 阅读全文
posted @ 2021-09-17 15:03 xingye_z 阅读(3215) 评论(0) 推荐(0) 编辑
摘要: #Self-Attention 自注意力 让我们跳进去谈谈transformer的self-attention机制。如果您能了解本视频背后的主要思想,您就会了解变压器网络工作背后最重要的核心思想。 让我们开始吧。您已经看到了注意力如何与诸如 RNN 之类的顺序神经网络一起使用。要使用更晚的 CNN 阅读全文
posted @ 2021-09-17 10:47 xingye_z 阅读(348) 评论(0) 推荐(0) 编辑
摘要: #Transformer Network Intuition 变压器网络直觉 深度学习中最令人兴奋的发展之一是 Transformer Network,有时也称为 Transformers。这是一种完全席卷 NLP 世界的架构。当今许多最有效的 NLP 专辑都是基于 Transformer 架构的。 阅读全文
posted @ 2021-09-17 09:31 xingye_z 阅读(324) 评论(0) 推荐(0) 编辑