摘要:
https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216,这篇讲的非常好,解决了我的好多疑问。 1.机器翻译中计算权重和概率 其中aij是通过si-1和hj计算得到的,也就相当于qk,那么上式中的hj也就是v,在这里k=v 阅读全文
摘要:
1.在cpu上 import torch import numpy as np a=torch.tensor(2) b=np.copy(a) # >>> b array(2, dtype=int64) 在cpu上是没有可以随意转换的,但是如果这样: import torch import numpy 阅读全文
摘要:
1.F1值优化 https://www.jianshu.com/p/51debab91824 from functools import partial import numpy as np import scipy as sp from sklearn.metrics import f1_scor 阅读全文
摘要:
1.py中函数是传值还是传引用? https://www.cnblogs.com/loleina/p/5276918.html,中间的实验我没有看,但是结论如下: 结论:python不允许程序员选择采用传值还是传引用。Python参数传递采用的肯定是“传对象引用”的方式。这种方式相当于传值和传引用的 阅读全文
摘要:
https://blog.csdn.net/sinat_17697111/article/details/81534935 https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html 1.非凸函数 阅读全文
摘要:
转自https://mp.weixin.qq.com/s/jH9grYg-xiuQxMTDq99olg https://www.jianshu.com/p/37e689bab29b https://github.com/benhamner/Metrics/blob/master/Python/ml_ 阅读全文
摘要:
1.python Queue https://www.cnblogs.com/itogo/p/5635629.html Queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构,即队列,用来在生产者和消费者线程之间的信息传递. 基本先进先出队列 阅读全文
摘要:
https://blog.csdn.net/yy_diego/article/details/81563160 https://www.tensorflow.org/api_docs/python/tf/pad 1.二维张量 pad( tensor, paddings, mode='CONSTANT 阅读全文
摘要:
1.多头注意力 多头注意力,我们可以看到源码中是进行了切割,从return的shape可以看出来。 2.transformer编码部分 可以看到它的输入就是经过emb和位置编码求和之后的输入。下面是正式使用到的编码函数: 上面的编码函数中,主要调用还是多头注意力这个函数: 调用的语句: //注意,这 阅读全文
摘要:
1.介绍 以前的方法都是编码为一个固定的长度,然后翻译,但是这样的话针对长句子就不友好,记忆不了那么长的句子。 与基本的编码器/解码器相比,此方法最重要的区别在于,它不会尝试将整个输入语句编码为单个固定长度的向量。 取而代之的是,它将输入的句子编码为一系列向量,并在解码翻译时自适应地选择这些向量的子 阅读全文