随笔分类 - 李宏毅机器学习笔记

4-2 Transformer

摘要：1、Seq2seq input是一个sequence,那output有几种可能一种是input跟output的长度一样有一种case是output一个东西我们不知道应该要output多长,由机器自己决定output的长度,即Seq2seq sequence to sequence（seq2se 阅读全文

posted @ 2022-10-11 14:19 CASTWJ 阅读(50) 评论(0) 推荐(0) 编辑

4-1 自注意力机制

摘要：1、背景到目前为止，我们network的input都是一个向量，输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，例如文本输入等，这个时候我们要将模型的输入作为一个向量集合，并且大小各异。 2、将单词表示为向量进行输入的方法 One-hot Encod 阅读全文

posted @ 2022-10-11 14:19 CASTWJ 阅读(224) 评论(0) 推荐(0) 编辑