2021 年 10月随笔档案 - 原来是只呆燕

总结一下神经网络中的激活函数

摘要：神经网络中的非线性是由激活层实现的，而激活层是由激活函数组成的，这里介绍四种常见的激活函数。 1.Sigmoid函数首当其冲，该函数区别了神经网络与感知器(激活函数是阶跃函数)，很明显它将输出限制在了(0,1)之间，因此可以与概率分布联系起来，也能用于输入的归一化，该函数的输出值始终大于0，函数的形阅读全文

posted @ 2021-10-26 21:40 原来是只呆燕阅读(481) 评论(0) 推荐(0) 编辑

浅谈一下图像卷积后的大小推理和几种网络的大致结构

摘要：怎么知道一张图片经过滤波器处理后的大小（神经网络中）？假设输入大小为(H,W),滤波器大小为(FH,FW),输出大小为(OH,OW),填充是P,步幅是S。则经过此滤波器后，图像的大小为

O H = \frac{H + 2 P - F H}{S} + 1

$OH=\frac{H+2 P-F H}{S}+1$ \[ OW=\frac{W+2 P-F W}{S} 阅读全文

posted @ 2021-10-23 16:16 原来是只呆燕阅读(317) 评论(0) 推荐(0) 编辑

简单总结一下深度学习中参数的更新和权重初始化的方法

摘要：深度学习中，典型的参数更新方法首先是SGD 它的更新方法如下

η, α 都 是 超 参 数

$\eta,\alpha都是超参数$

w_{2} = w_{1} - η \frac{\partial L}{\partial w_{1}}

$w_{2}=w_{1}-\eta \frac{\partial L}{\partial w_{1}}$ 但该方法面对非匀向的损失函数(如呈现延伸状),是收敛不到最小值的，以 \[ F1(x1, 阅读全文

posted @ 2021-10-17 15:18 原来是只呆燕阅读(1484) 评论(0) 推荐(0) 编辑

博客园中做笔记公式和图片的插入-使用Markdown编辑器

摘要：最近用博客园做笔记时想插入一些公式，搞了很久，自己就定了这么一套流程使用Markdown编辑器在设置里的页首html添加如下图片的代码 3. 将公式化为latex代码，这里推荐使用Mathpix_Snipping_Tool,如下图所示 4.将复制好的代码粘帖至编辑器中插入图片时就用下面这个定式阅读全文

posted @ 2021-10-13 20:02 原来是只呆燕阅读(191) 评论(0) 推荐(0) 编辑

softmax-with-Loss(交叉熵)对于监督数据是热编码或标签形式的反向传播的代码啥咋样的？

摘要：恢复内容开始根据计算图，由于是最后一层，所以反向传过来的梯度dout=1 t表示监督数据，y表示上一层的输出，也就是到softmax-with-Loss层的输入上图的计算图是监督数据是热编码的形式上述代码就包含了监督数据是标签形式恢复内容结束阅读全文

posted @ 2021-10-08 21:30 原来是只呆燕阅读(118) 评论(0) 推荐(0) 编辑

10 2021 档案

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜