摘要:
Word2vec基础 词嵌入的假设,是通过一个词所在的上下文可以获得词的语义甚至语法结构,有相似上下文的词在向量空间中是邻近的点。 背景概念 Word2Vec要解决的根本问题,说到底是自然语言处理的问题。一般认为自然语言处理模型氛围两大派系,分别是形式文法和统计语言模型 统计语言模型 简单地说,可以 阅读全文
摘要:
概述 BERT的全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre train方法上,即用了Masked LM和Next 阅读全文
摘要:
下面的代码自下而上的实现Transformer的相关模块功能。这份文档只实现了主要代码。由于时间关系,我无法实现所有函数。对于没有实现的函数,默认用全大写函数名指出,如SOFTMAX 由于时间限制,以下文档只是实现了Transformer前向传播的过程。 输入层 输入层包括Word Embeddin 阅读全文
摘要:
"参考1" , "参考2" 直观理解 先来看一个翻译的例子“I arrived at the bank after crossing the river” 这里面的bank指的是银行还是河岸呢,这就需要我们联系上下文,当我们看到river之后就应该知道这里bank很大概率指的是河岸。在RNN中我们就 阅读全文
摘要:
基本思想 生成器 从先验分布中采得随机信号,经过神经网络变换,得到模拟样本 判别器 接受来自生成器的模拟样本,也接受来自实际数据集的真实样本,并进行判断 训练过程 训练判别器:先固定生成器$G(\cdot)$,然后利用生成器随机模拟产生样本$G(z)$作为负样本,并从真实数据集采样正样本$X$;将这 阅读全文