torch.nn.Embedding进行word Embedding

torch.nn.Embedding

在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding

import torch

def look_up():
    word_to_ix={'天':0,"地":1}
    lookup_tensor = torch.tensor([word_to_ix['地']],dtype=torch.long)
    embeds=torch.nn.Embedding(2,10)
    print(lookup_tensor.item())
    hello_embed=embeds(lookup_tensor)
    print(hello_embed)

if __name__ == '__main__':
    look_up()

这就是我们输出的“天”这个词的word embedding，代码会输出如下内容，接下来我们解析一下代码：

1
tensor([[-0.4903, -2.0984, -0.0904,  0.4799,  0.4349,  0.0862, -0.3838,  0.0440,
          0.5519,  0.7626]], grad_fn=<EmbeddingBackward>)

首先我们需要word_to_ix = {'天': 0, '地': 1}，每个词语我们需要用一个数字去表示他，这样我们需要hello的时候，就用0来表示它。

接着就是word embedding的定义nn.Embedding(2, 5)，这里的2表示有2个词，5表示5维度，其实也就是一个2x5的矩阵，所以如果你有1000个词，每个词希望是100维，你就可以这样建立一个word embedding，nn.Embedding(1000, 100)。

关于nn.Embedding（）感觉就是比直接one hot 好一点，如果想要提升精度，肯定在word Embedding这块要使用 bert如今更主流的模型进行预训练。