随笔分类 - CS231n
发表于 2022-08-20 18:02阅读：142评论：0推荐：0
摘要：1.学习率的设置 2.训练集和验证集准确度 通过查看训练集和验证集的准确度，也可以侧面反应出过拟合的情况，在训练集准确率和验证集准确率中间的空隙指明了模型过拟合的程度。在图中，蓝色的验证集曲线显示相较于训练集，验证集的准确率低了很多，这就说明模型有很强的过拟合。遇到这种情况，就应该增大正则化强度（更
阅读全文 »
发表于 2022-08-20 17:53阅读：317评论：0推荐：0
摘要：1.均值减法 它对数据中每个独立特征减去平均值，从几何上可以理解为在每个维度上都将数据云的中心都迁移到原点。在numpy中，该操作可以通过代码X -= np.mean(X, axis=0)实现。而对于图像，更常用的是对所有像素都减去一个值，可以用X -= np.mean(X)实现，也可以在3个颜色通
阅读全文 »
发表于 2022-08-19 10:52阅读：26评论：0推荐：0
摘要：1.生物学起源 2.粗糙模型 要注意这个对于生物神经元的建模是非常粗糙的；在实际中，有很多不同类型的神经元，每种都有不同的属性。生物神经元的树突可以进行复杂的非线性计算。突触并不是一个简单的权重，他们是复杂的非线性动态系统。很多系统中，输出的峰值信号的精确时间点非常重要，说明速率编码的近似是不够全面
阅读全文 »
发表于 2022-08-18 22:51阅读：26评论：0推荐：0
摘要：1.小批量数据梯度下降 在大规模的应用中（比如ILSVRC挑战赛），训练数据可以达到百万级量级。如果像这样计算整个训练集，来获得仅仅一个参数的更新就太浪费了。一个常用的方法是计算训练集中的小批量（batches）数据。例如，在目前最高水平的卷积神经网络中，一个典型的小批量包含256个例子，而整个训练
阅读全文 »
发表于 2022-08-11 22:02阅读：46评论：0推荐：0
摘要：1.实现原理 就是堆叠了两层两个线性层，中间引入了非线性函数来增加模型表达能力 2.训练过程 主要是利用链式求导法则和反向传播算法对参数进行更新，不断得训练，最后在验证集和测试集上进行正确度验证 3.模型保存及预测 保存模型参数，然后输入未知样本进行预测
阅读全文 »
发表于 2022-08-11 14:20阅读：32评论：0推荐：0
摘要：1.loss的正向传播计算 2.loss的反向传播求梯度 通过梯度的计算，来对学习率不断更新优化，并在验证集上做正确率验证，最后再在测试集上进行准确率测试。
阅读全文 »
发表于 2022-08-09 23:33阅读：23评论：0推荐：0
摘要：1.优化 主要讲了 随机优化 和 梯度下降优化两种方式 目前深度学习主要是采用的 梯度优化 这种方式，来进行模型参数优化，来训练出一个在测试集上表现较好的模型 2.反向传播 主要内容： 计算图 通过计算图，来计算每个本地节点的梯度，再通过链式求导法则来进行反向传播求任一一个节点的梯度
阅读全文 »
发表于 2022-08-09 17:32阅读：144评论：0推荐：0
摘要：1.loss设计 主要是表征预测的类别的准确性，我认为主要是 为了边界化的问题 2.svm svm的设计主要是为了保证预测的准确性，一旦超过了边界，那么即使我们修改值或者让错误值和正确值差距很大，也不会改变损失值，依旧是0，这点也是svm的特性，不会过分强调之间的实际差距 svm分类器 计算公式如下
阅读全文 »
发表于 2022-08-08 16:56阅读：105评论：0推荐：0
摘要：1.Data Cifar-10数据集介绍，共有10种类别 train_data:50000 test_data:10000 2.DataLoader 选择 5000张样本 做训练集，500个样本做测试集 old_shape:[5000,32,32,3]、[500,32,32,3] Reshape：x
阅读全文 »
