摘要:
1.输入emb层 在modeling.py文件中,首先对token进行emb词向量查询 然后进行emb后处理,获取sentence emb/位置emb: sentence emb也就是segment emb,即不同句子的初始化嵌入向量: 下面是pos emb: https://blog.csdn.n 阅读全文
摘要:
转自:https://radimrehurek.com/gensim/models/phrases.html 1.gensim.models.phrases.Phraser //上面链接中的样例代码复制不行,绝了。。。 >>> from gensim.test.utils import datapa 阅读全文
摘要:
所含的包可以在这里下载:http://www.nltk.org/nltk_data/ 1.WordNetLemmatizer提取词干 确定词根 import nltk nltk.download('wordnet') lemmatizer = WordNetLemmatizer()#确定词源 pri 阅读全文
摘要:
转自:http://www.gwylab.com/note-vae.html 1.VAE模型架构 损失函数方面,除了必要的重构损失外,VAE还增添了一个损失函数(见上图Minimize2内容),这同样是必要的部分,因为如果不加的话, 整个模型就会出现问题:为了保证生成图片的质量越高,编码器肯定希望噪 阅读全文
摘要:
译自:https://hjweide.github.io/adversarial-autoencoders 1.自编码器AE作为生成模型 我们已经简要提到过,编码器输出的属性使我们能够将输入数据转换为有用的表示形式。在使用变分自动编码器的情况下,解码器已受过训练,可以从类似于我们选择的先验样本的样本 阅读全文
摘要:
https://www.cnblogs.com/BlueBlueSea/p/13137757.html,是我这篇文章的一个深入和展开吧 1.总结 转自:https://zhuanlan.zhihu.com/p/91839581 2.CNN/LSTM+ATT 对cnn结合att的过程不太明白。 3.适 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/33752313,讲的不错。 1.损失函数 第一项主要是针对真实样本的,第二项是针对生成样本的损失。 //判别器是尽可能地判别出是真实数据还是生成数据,我一直以为是尽可能判别不出呢。。。 2.训练过程 可以看到是先确定G,优化D,确定了优化D 阅读全文
摘要:
https://blog.csdn.net/v_july_v/article/details/8203674,介绍了很多距离 1.巴氏距离(Bhattacharyya Distance) 对于离散概率分布 p和q在同一域 X,它被定义为: 阅读全文
摘要:
https://www.infoq.cn/article/lteUOi30R4uEyy740Ht2,这个后半部分讲的不错! 1.Transformer Encoder (N=6 层,每层包括 2 个 sub-layers): 上面这个图真的讲的十分清楚了。 multi-head self-atten 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/77307258,这篇写的简直太好了,不愧是阿里啊! https://www.infoq.cn/article/lteUOi30R4uEyy740Ht2 1.attention计算分为三步 score-function:打分部分 normal 阅读全文