摘要: 1. Spatial Transformer Layer 功能简介 Spatial Transformer Layer能够帮助我们对图像进行缩放和旋转,它可以作用与原始图像,也可以作用于Feature Map Spatial Transformer Layer在做的事情其实是控制输入图像和输出图像之 阅读全文
posted @ 2023-07-25 22:59 Peg_Wu 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 1. 还记得之前所说的分段线性函数拟合方式吗? 我们可以将任意的曲线视为分段线性函数,只要我们在曲线上采样的点足够多,就可以做到无限逼近; 一个Neuron可以表示一种“阶梯型”曲线,因此,理论上,只要我们有足够多的Neuron,我们只需要一个Layer,我们就可以拟合任意的Function! 既然 阅读全文
posted @ 2023-07-25 20:46 Peg_Wu 阅读(4) 评论(0) 推荐(0) 编辑
摘要: ⭐I used a validation set, but my model still overfitted? 通常,我们会选择在验证集上损失最小的模型应用于测试集上! 实际上,使用验证集选择模型的过程也可以视为在验证集上“训练”的过程,只是可供我们选择的模型没有训练集那么多! 正如之前所说,我们 阅读全文
posted @ 2023-07-24 18:50 Peg_Wu 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 1. Fully Connected Layer v.s. Convolutional Layer 模型架构比较简单,不做赘述。 一个neuron负责同一大小的不同的receptive field, 负责同一大小receptive field的不同neuron之间参数不共享。 一个3x3的filte 阅读全文
posted @ 2023-07-24 18:24 Peg_Wu 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 1. Case Study 观察上图,可以看到,数码宝贝的线条较为复杂,而宝可梦的线条较为简单,画风偏儿童~ 我们可以对不同的图像做edge detection,用图像中白色像素点的个数对宝可梦和数码宝贝进行分类 我们可以定义一个简单的模型进行分类,其中h是阈值,如果一张图像经过edge detec 阅读全文
posted @ 2023-07-21 14:47 Peg_Wu 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 1. Training stuck ≠ Small Gradient 如果我们在训练过程中遇到了training stuck,不一定是遇到了critical point,也可能是走到了critical point附近,并在山谷两端左右徘徊! 把此时的梯度计算出来,可以发现,梯度并不为0,可以证明此时 阅读全文
posted @ 2023-07-20 17:10 Peg_Wu 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 1. Small Batch v.s. Large Batch 2. "Noisy" update is better for training! 如果将所有的数据作为一个Batch丢进网络中,当梯度下降遇到critical point时,由于loss是恒定的,参数就会卡在critical poin 阅读全文
posted @ 2023-07-20 15:23 Peg_Wu 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 1. Optimization Fails because ... local minima(局部最小值)和saddle point(鞍点)都会造成梯度为0,导致参数无法继续更新下去,损失趋于平缓 local minima和saddle point统称为critical point(驻点) 2. 如 阅读全文
posted @ 2023-07-20 01:09 Peg_Wu 阅读(46) 评论(0) 推荐(0) 编辑
摘要: 1. 机器学习任务攻略 2. Model Bias or Optimization Issue? Model Bias是指模型太简单了,模型的弹性不够大,我们想要找到的能使训练集loss低的function根本不在function set中(就好比大海捞针,但针不在大海中),或者说即使在这个func 阅读全文
posted @ 2023-07-19 16:59 Peg_Wu 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 1. Probabilistic Generative Model 概率生成模型,关键是求上图红框内的四个概率值! 我们假设Class 1有N1个样本,Class2有N2个样本,则P(C1)=N1/(N1+N2),P(C2)=N2/(N1+N2) 如何求P(x|C1)和P(x|C2)? 2. 如何求 阅读全文
posted @ 2023-07-19 01:29 Peg_Wu 阅读(16) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示