06 2020 档案

摘要:1.百面机器学习中的讲解 Dropout是指在深度网络的训练中, 以一定的概率随机地 “临时丢弃”一部分神经元节点。 相当于每次迭代都在训练不同结构的神经网络。 类比于Bagging方法, Dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 因此, 对于包含N个神经元节点的网络, 阅读全文
posted @ 2020-06-21 22:45 lypbendlf 阅读(660) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/p/79714797,其实原理只要搞懂了transformer,这里就很容易懂了。 1.基于decoder 它是一个自回归模型,也就是输出会转变为下一次的输入,主要用来文本生成。 输入编码:词嵌入和位置嵌入向量相加,然后进入masked self 阅读全文
posted @ 2020-06-20 23:50 lypbendlf 阅读(496) 评论(0) 推荐(0) 编辑
摘要:1.word2vec模型 https://zhuanlan.zhihu.com/p/27234078 讲的非常好! 这里说到了上面的这个结论,我的理解是,学习到的kitten和cat在空间中会更接近吗?难道只能通过和其他词的平行四边形才ok?? 嗯,后面说了,训练的嵌入向量也会非常地相似。 skip 阅读全文
posted @ 2020-06-20 22:37 lypbendlf 阅读(152) 评论(0) 推荐(0) 编辑
摘要:1.输入emb层 在modeling.py文件中,首先对token进行emb词向量查询 然后进行emb后处理,获取sentence emb/位置emb: sentence emb也就是segment emb,即不同句子的初始化嵌入向量: 下面是pos emb: https://blog.csdn.n 阅读全文
posted @ 2020-06-20 18:48 lypbendlf 阅读(535) 评论(0) 推荐(0) 编辑
摘要:转自:https://radimrehurek.com/gensim/models/phrases.html 1.gensim.models.phrases.Phraser //上面链接中的样例代码复制不行,绝了。。。 >>> from gensim.test.utils import datapa 阅读全文
posted @ 2020-06-17 21:21 lypbendlf 阅读(780) 评论(0) 推荐(0) 编辑
摘要:所含的包可以在这里下载:http://www.nltk.org/nltk_data/ 1.WordNetLemmatizer提取词干 确定词根 import nltk nltk.download('wordnet') lemmatizer = WordNetLemmatizer()#确定词源 pri 阅读全文
posted @ 2020-06-17 20:32 lypbendlf 阅读(711) 评论(0) 推荐(0) 编辑
摘要:转自:http://www.gwylab.com/note-vae.html 1.VAE模型架构 损失函数方面,除了必要的重构损失外,VAE还增添了一个损失函数(见上图Minimize2内容),这同样是必要的部分,因为如果不加的话, 整个模型就会出现问题:为了保证生成图片的质量越高,编码器肯定希望噪 阅读全文
posted @ 2020-06-16 22:01 lypbendlf 阅读(3607) 评论(0) 推荐(0) 编辑
摘要:译自:https://hjweide.github.io/adversarial-autoencoders 1.自编码器AE作为生成模型 我们已经简要提到过,编码器输出的属性使我们能够将输入数据转换为有用的表示形式。在使用变分自动编码器的情况下,解码器已受过训练,可以从类似于我们选择的先验样本的样本 阅读全文
posted @ 2020-06-16 21:47 lypbendlf 阅读(4545) 评论(0) 推荐(1) 编辑
摘要:https://www.cnblogs.com/BlueBlueSea/p/13137757.html,是我这篇文章的一个深入和展开吧 1.总结 转自:https://zhuanlan.zhihu.com/p/91839581 2.CNN/LSTM+ATT 对cnn结合att的过程不太明白。 3.适 阅读全文
posted @ 2020-06-16 12:13 lypbendlf 阅读(154) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/p/33752313,讲的不错。 1.损失函数 第一项主要是针对真实样本的,第二项是针对生成样本的损失。 //判别器是尽可能地判别出是真实数据还是生成数据,我一直以为是尽可能判别不出呢。。。 2.训练过程 可以看到是先确定G,优化D,确定了优化D 阅读全文
posted @ 2020-06-15 23:02 lypbendlf 阅读(1690) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/v_july_v/article/details/8203674,介绍了很多距离 1.巴氏距离(Bhattacharyya Distance) 对于离散概率分布 p和q在同一域 X,它被定义为: 阅读全文
posted @ 2020-06-15 22:01 lypbendlf 阅读(698) 评论(0) 推荐(0) 编辑
摘要:https://www.infoq.cn/article/lteUOi30R4uEyy740Ht2,这个后半部分讲的不错! 1.Transformer Encoder (N=6 层,每层包括 2 个 sub-layers): 上面这个图真的讲的十分清楚了。 multi-head self-atten 阅读全文
posted @ 2020-06-15 21:10 lypbendlf 阅读(5783) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/p/77307258,这篇写的简直太好了,不愧是阿里啊! https://www.infoq.cn/article/lteUOi30R4uEyy740Ht2 1.attention计算分为三步 score-function:打分部分 normal 阅读全文
posted @ 2020-06-15 20:50 lypbendlf 阅读(413) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216,这篇讲的非常好,解决了我的好多疑问。 1.机器翻译中计算权重和概率 其中aij是通过si-1和hj计算得到的,也就相当于qk,那么上式中的hj也就是v,在这里k=v 阅读全文
posted @ 2020-06-15 18:31 lypbendlf 阅读(3247) 评论(0) 推荐(1) 编辑
摘要:1.在cpu上 import torch import numpy as np a=torch.tensor(2) b=np.copy(a) # >>> b array(2, dtype=int64) 在cpu上是没有可以随意转换的,但是如果这样: import torch import numpy 阅读全文
posted @ 2020-06-14 18:54 lypbendlf 阅读(669) 评论(0) 推荐(0) 编辑
摘要:1.F1值优化 https://www.jianshu.com/p/51debab91824 from functools import partial import numpy as np import scipy as sp from sklearn.metrics import f1_scor 阅读全文
posted @ 2020-06-14 17:25 lypbendlf 阅读(1203) 评论(1) 推荐(0) 编辑
摘要:1.py中函数是传值还是传引用? https://www.cnblogs.com/loleina/p/5276918.html,中间的实验我没有看,但是结论如下: 结论:python不允许程序员选择采用传值还是传引用。Python参数传递采用的肯定是“传对象引用”的方式。这种方式相当于传值和传引用的 阅读全文
posted @ 2020-06-14 07:02 lypbendlf 阅读(140) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/sinat_17697111/article/details/81534935 https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html 1.非凸函数 阅读全文
posted @ 2020-06-12 12:52 lypbendlf 阅读(2128) 评论(0) 推荐(0) 编辑
摘要:转自https://mp.weixin.qq.com/s/jH9grYg-xiuQxMTDq99olg https://www.jianshu.com/p/37e689bab29b https://github.com/benhamner/Metrics/blob/master/Python/ml_ 阅读全文
posted @ 2020-06-07 18:34 lypbendlf 阅读(278) 评论(0) 推荐(0) 编辑
摘要:1.python Queue https://www.cnblogs.com/itogo/p/5635629.html Queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构,即队列,用来在生产者和消费者线程之间的信息传递. 基本先进先出队列 阅读全文
posted @ 2020-06-07 09:29 lypbendlf 阅读(514) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/yy_diego/article/details/81563160 https://www.tensorflow.org/api_docs/python/tf/pad 1.二维张量 pad( tensor, paddings, mode='CONSTANT 阅读全文
posted @ 2020-06-06 21:14 lypbendlf 阅读(251) 评论(0) 推荐(0) 编辑
摘要:1.多头注意力 多头注意力,我们可以看到源码中是进行了切割,从return的shape可以看出来。 2.transformer编码部分 可以看到它的输入就是经过emb和位置编码求和之后的输入。下面是正式使用到的编码函数: 上面的编码函数中,主要调用还是多头注意力这个函数: 调用的语句: //注意,这 阅读全文
posted @ 2020-06-06 18:32 lypbendlf 阅读(807) 评论(0) 推荐(0) 编辑
摘要:1.介绍 以前的方法都是编码为一个固定的长度,然后翻译,但是这样的话针对长句子就不友好,记忆不了那么长的句子。 与基本的编码器/解码器相比,此方法最重要的区别在于,它不会尝试将整个输入语句编码为单个固定长度的向量。 取而代之的是,它将输入的句子编码为一系列向量,并在解码翻译时自适应地选择这些向量的子 阅读全文
posted @ 2020-06-06 16:20 lypbendlf 阅读(358) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/weixin_40894921/article/details/88528159 1.全局 从上面给的例子中可以看出,它可以被用来全局的 2.类内部函数的内部 class A: def f(self): a=2 def ff(): a=5#这里是无法改变a 阅读全文
posted @ 2020-06-06 09:49 lypbendlf 阅读(284) 评论(0) 推荐(0) 编辑
摘要:1.文本分类任务 1.1 情感分类 主要是分析文本中人的情感,比如产品评论、电影评论、推特,提取文本的极性和观点,包括二分类或者多分类。 1.2 新闻分类 新闻分类系统可以帮助用户实时获取感兴趣的信息。 识别新兴新闻主题并根据用户兴趣推荐相关新闻是新闻分类的两个主要应用。 1.3 主题分析 主题分析 阅读全文
posted @ 2020-06-04 14:24 lypbendlf 阅读(274) 评论(0) 推荐(0) 编辑
摘要:https://www.cnblogs.com/sjjsxl/p/6844091.html https://zhuanlan.zhihu.com/p/25994179 1.思想 k近邻法输入为实例的特征向量,输出为实例的类别。算法思想是,给定训练数据集,对应输入空间的各个数据点,要判断一个新的数据点 阅读全文
posted @ 2020-06-03 13:33 lypbendlf 阅读(157) 评论(0) 推荐(0) 编辑
摘要:1.有label评价标准 https://zhuanlan.zhihu.com/p/53840697 一般分为:外部、内部、相对,这三种评价指标。 1.1 Purity: 正确聚类的样本数占总样本的比例: 非常直观且简单的计算法方法。 1.2 NMI (Normalized Mutual Infor 阅读全文
posted @ 2020-06-03 10:59 lypbendlf 阅读(1827) 评论(0) 推荐(0) 编辑
摘要:1.pytorch自动求导机制 https://zhuanlan.zhihu.com/p/79801410 只能对浮点类型的tensor设置x.requires_grad_(True); import torch # Creating the graph x = torch.tensor(1.0, 阅读全文
posted @ 2020-06-03 10:18 lypbendlf 阅读(337) 评论(0) 推荐(0) 编辑
摘要:1.搜索了不少博客 https://zhuanlan.zhihu.com/p/32819991,这个给出具体模型,但是也太具体了,公式都不是很教科书。 https://www.cnblogs.com/pinard/p/6422831.html,刘建平这个我不明白它推导的时候那么注意T转置这个负号干什 阅读全文
posted @ 2020-06-02 00:54 lypbendlf 阅读(89) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示