摘要：
训练集：训练数据 验证集：得出模型的精度等一系列数据用于改进模型 测试集：得到模型的精度等一系列数据用于发表论文等。。。 如果数据量比较小可以把验证集和测试集合并 一般来说 验证集和测试集各1k个样本就够了 其他的全部丢到训练集去吧 比如我们现在要训练猫的分类器 然后我们有一个app，模型的最终目标 阅读全文
摘要：
对于模型，最重要的就是两个东西 查准率：模型输出为ai中真的是ai的个数 / 模型中输出为ai的个数 查全率：模型中输出为ai的个数 / 真的为ai的个数 那么就想小时候判断运动员成绩的极值和方差一样 我们有时无法判断模型的好坏 那么我们就要用一个单一的指标去评价模型的好坏 设查准率为a， 查全率为 阅读全文
摘要：
这是为了解决深层神经网络梯度消失的问题 因为随着训练的进行，我们每一层的网络输出会逐渐两极分化 比如使用的是tanh激活函数，到最后就会使偏导几乎等于0，网络的训练时间过长 我们可以把每一层的输出看做符合N(u, alaph)的正态分布 如果我们能将这一层的正太分布改为符合N(0,1)就很舒服了 Z 阅读全文
摘要：
我们一般认为神经网络会有局部最优解 就像三维中的坑洞一样，可能使我们的神经网络陷进去就出不来了 其实不是这样的 可以看到，我门的loss其实是一个多维的神经网络 那么对于第i维，我可以大致的认为在这一维，他上升或下降的概率均为0.5 我们知道，如果要形成坑洞的话，我们在这个区域上的所有点的梯度都必须 阅读全文