摘要： https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216，这篇讲的非常好，解决了我的好多疑问。 1.机器翻译中计算权重和概率 其中aij是通过si-1和hj计算得到的，也就相当于qk，那么上式中的hj也就是v，在这里k=v 阅读全文

摘要： 1.在cpu上 import torch import numpy as np a=torch.tensor(2) b=np.copy(a) # >>> b array(2, dtype=int64) 在cpu上是没有可以随意转换的，但是如果这样： import torch import numpy 阅读全文

摘要： 1.F1值优化 https://www.jianshu.com/p/51debab91824 from functools import partial import numpy as np import scipy as sp from sklearn.metrics import f1_scor 阅读全文

摘要： 1.py中函数是传值还是传引用？ https://www.cnblogs.com/loleina/p/5276918.html，中间的实验我没有看，但是结论如下： 结论：python不允许程序员选择采用传值还是传引用。Python参数传递采用的肯定是“传对象引用”的方式。这种方式相当于传值和传引用的 阅读全文

摘要： https://blog.csdn.net/sinat_17697111/article/details/81534935 https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html 1.非凸函数 阅读全文

摘要： 转自https://mp.weixin.qq.com/s/jH9grYg-xiuQxMTDq99olg https://www.jianshu.com/p/37e689bab29b https://github.com/benhamner/Metrics/blob/master/Python/ml_ 阅读全文

摘要： 1.python Queue https://www.cnblogs.com/itogo/p/5635629.html Queue是python标准库中的线程安全的队列（FIFO）实现,提供了一个适用于多线程编程的先进先出的数据结构，即队列，用来在生产者和消费者线程之间的信息传递. 基本先进先出队列 阅读全文

摘要： https://blog.csdn.net/yy_diego/article/details/81563160 https://www.tensorflow.org/api_docs/python/tf/pad 1.二维张量 pad( tensor, paddings, mode='CONSTANT 阅读全文

摘要： 1.多头注意力 多头注意力，我们可以看到源码中是进行了切割，从return的shape可以看出来。 2.transformer编码部分 可以看到它的输入就是经过emb和位置编码求和之后的输入。下面是正式使用到的编码函数： 上面的编码函数中，主要调用还是多头注意力这个函数： 调用的语句： //注意，这 阅读全文

摘要： 1.介绍 以前的方法都是编码为一个固定的长度，然后翻译，但是这样的话针对长句子就不友好，记忆不了那么长的句子。 与基本的编码器/解码器相比，此方法最重要的区别在于，它不会尝试将整个输入语句编码为单个固定长度的向量。 取而代之的是，它将输入的句子编码为一系列向量，并在解码翻译时自适应地选择这些向量的子 阅读全文