2022年9月
什么是 MAX OUT
摘要： 可以参考这篇文章： Maxout激活函数原理及实现 - 简书 (jianshu.com) 其中文章中的这张图片是精华. 另外我觉得还可以这样子理解: 也就是说，从左到右做线性层运算，然后堆叠起来，在列方向取最大值作为max out的输出。（画的有点丑つ﹏⊂） 阅读全文
posted @ 2022-09-18 09:16 Hisi 阅读(311) 评论(0) 推荐(0) 编辑
什么是感知机？
摘要： The McCulloch-Pitts Neuron (McCulloch and Pitts, 1943) was an early model of brain function. This linear model could recognize two different categorie 阅读全文
posted @ 2022-09-14 17:25 Hisi 阅读(175) 评论(0) 推荐(0) 编辑
线性回归如何一次性达到最优。
摘要： 其实很简单，求出线性回归表达式的解析解就好了，还不需要使用梯度下降法。 方法如下： 假设损失函数为(推导提示看文末图）： $J(θ) = \frac{1}{2}\sum_{i=1}^n(h_θ(x^{(i)}-y^{(i)})^2=\frac{1}{2}(X\theta-Y)^T(X\theta-Y 阅读全文
posted @ 2022-09-12 23:03 Hisi 阅读(128) 评论(0) 推荐(0) 编辑
2022年8月
相对位置编码
摘要： 原文链接：【link】（以下的截图和部分文字均取自上链接） self-attention中存在的问题 一个序列中，第i个单词和第j个单词的attention score分数为： 其中Wq，Wk分别是multi-head attention给每个head加的query和key参数，Exi和Exj是xi 阅读全文
posted @ 2022-08-23 17:49 Hisi 阅读(117) 评论(0) 推荐(0) 编辑
Few-shot learning
摘要： 讲的很好，用词简单，可以看看。 【link】 阅读全文
posted @ 2022-08-23 10:52 Hisi 阅读(4) 评论(0) 推荐(0) 编辑
双向CRF代码
该文被密码保护。 阅读全文
posted @ 2022-08-21 10:11 Hisi 阅读(6) 评论(0) 推荐(0) 编辑
pytorch、numpy中dim、axis如何理解：
摘要： https://blog.csdn.net/qq_30122359/article/details/102955570 阅读全文
posted @ 2022-08-16 10:52 Hisi 阅读(22) 评论(0) 推荐(0) 编辑
常见简单的无监督算法
摘要： 目录： https://cloud.tencent.com/developer/article/1137500 K-means算法： https://zhuanlan.zhihu.com/p/78798251 K-means++算法： 1. https://zhuanlan.zhihu.com/p/ 阅读全文
posted @ 2022-08-03 17:55 Hisi 阅读(58) 评论(0) 推荐(0) 编辑
2022年7月
Huggingface 中大模型自带的Model parallelism
摘要： 阅读全文
posted @ 2022-07-31 10:33 Hisi 阅读(91) 评论(0) 推荐(0) 编辑
花式索引原理浅析
摘要： 假设我有如下三维tensor： matrix = torch.tensor([ [ [1,2,3], [4,5,6] ], [ [2,3,4], [5,6,7] ] ]) 索引方法为： matrix[ [ [0], [1] ], [ [0,1], [1,1] ], [ [2,1], [1,2] ] 阅读全文
posted @ 2022-07-13 10:23 Hisi 阅读(48) 评论(0) 推荐(0) 编辑