Notebook

摘要： 李沐 动手学深度学习 学习笔记 词向量是⽤于表⽰单词意义的向量，并且还可以被认为是单词的特征向量或表⽰。 将单词映射到实向量的技术称为词嵌⼊。近年来，词嵌⼊逐渐成为⾃然语⾔处理的基础知识。 虽然独热向量很容易构建，但它们通常不是⼀个好的选择。 ⼀个主要原因是独热向量不能准确表达不同词之间的相似度，⽐ 阅读全文

摘要： 斋藤康毅 深度学习进阶 学习笔记 自然语言处理（Natural Language Processing，NLP） 顾名思义，就是处理自然语言的科学。 简单地说，它是一种能够让计算机理解人类语言的技术。 换言之，自然语言处理的目标就是让计算机理解人说的话，进而完成对我们有帮助的事情。 语料库 单词的分 阅读全文

摘要： 编码器解码器层数必须要相等么？ 层数是越多越好么？ 各层之间的参数共享么？ 1706.03762.pdf (arxiv.org) Transformer模型详解（图解最完整版） - 知乎 (zhihu.com) 阅读全文