04 2019 档案
摘要：attention的本质 通过计算Query和一组Key的相似度（或者叫相关性/注意力分布），来给一组Value赋上权重，一般地还会求出这一组Value的加权和。 一个典型的soft attention如下公式所示： 先用Query求出分别和一组Key计算相似度，计算相似度的方法有很多种，常用的有点
阅读全文
摘要：直接看 https://pytorch.org/docs/stable/nn.html 就行了
阅读全文
摘要：Python 3.7版本，函数的参数可以通过冒号来进行注释 str 这里都表示注释，而不是强制确定的类型（Python是动态类型的） 冒号后表示参数的注释，如果需要默认赋值再在后面加等号即可 箭头后表示返回值的注释 参考： https://www.cnblogs.com/Stitchez/p/100
阅读全文
摘要：要用到Pycharm专业版（社区版没有此功能），学生应该有免费的。 参考： https://www.cnblogs.com/superjn/p/8624605.html
阅读全文
